來源：jinnianhui.com檢索分析咨詢部    發(fā)布時間：2025-03-21 13：51    點擊量：928

【前  言】 

2024年7月，世界知識產(chǎn)權(quán)組織WIPO發(fā)布了《生成式人工智能專利態(tài)勢報告》（以下簡稱：WIPO報告），報告分析了從2014年至2023年底的十年間，全球生成式人工智能（GenAI）相關(guān)專利情況，并給出了權(quán)威的結(jié)論?！禬IPO報告》顯示，在這10年間，全球GenAI相關(guān)專利申請有5.4萬件，其中中國的專利申請量以3.8萬件占據(jù)首位，遠遠超過美國、韓國、日本和印度等國。由于 GenAI 技術(shù)呈現(xiàn)井噴式發(fā)展，相應的專利申請量也呈現(xiàn)指數(shù)式上升，僅2023年公布的 GenAI 相關(guān)專利就超過了全部總數(shù)的1/4。相應地，GenAI技術(shù)淘汰速度也非?？?，可以想見過去10年的專利技術(shù)，越是新的技術(shù)越是具有參考借鑒價值。

本文將沿襲《WIPO報告》的專利分析思路，聚焦ChatGPT發(fā)布后，即2023年1月以后公開的GenAI幾個最主要的大模型相關(guān)專利數(shù)據(jù)進行分析，為感興趣的客戶提供參考。

關(guān)注的大模型有：

1. 生成對抗網(wǎng)絡(luò)Generative adversarial networks (GAN)

2. 變分自編碼器 Variational autoencoders (VAE)

3. 基于解碼器的大型語言模型 decoder-based large language models (decoder-based LLM)

4. 自回歸模型 Autoregressive models（AM）

5. 擴散模型 Diffusion models（DM）

《WIPO報告》顯示，在其調(diào)研的過去10年間的 GenAI 大模型專利中，大多數(shù)專利屬于GANs。

2014年至2023年間，GANs大模型的專利家族有9700個，僅2023年就有2400個專利家族公布。VAEs和LLMs的專利家族數(shù)量分列第二和第三位，2014年至2023年間分別擁有約1800和1300個新專利家族。

在專利增長方面，GANs專利在過去十年中增長最為強勁。然而，最近這一速度有所放緩。相比之下，擴散模型(DMs)和 LLMs 在過去三年中顯示出更高的增長率，擴散模型的專利家族數(shù)量從2020年的18個增加到2023年的441個，LLMs的專利家族從2020年53個增加到了2023年881個。顯然ChatGPT 等現(xiàn)代聊天機器人引發(fā)的 GenAI 熱潮增加了人們對 DMs和LLMs大模型的研發(fā)投入。

一、GenAI 大模型的前世今生

2022年11月，OpenAI 推出了聊天生成預訓練轉(zhuǎn)換器（ChatGPT），并且迅速爆火。該產(chǎn)品以強大的文字處理和人機交互功能迅速風靡全球。以ChatGPT 等大語言模型為標志的生成式AI 的成功，帶來了新的范式革命和廣闊的商業(yè)前景，資本市場持續(xù)高漲的熱情也足以彰顯它的價值。當然，ChatGPT等大語言模型也不是橫空出世的，以下我們簡單了解一下生成式AI的前世今生。

“GenAI+大模型”是一個結(jié)合了生成式人工智能（Generative AI）和大型語言模型（Large Language Model, LLM）的先進概念。生成式人工智能（Generative AI，簡稱 GenAI）是一類能夠生成新內(nèi)容（如文本、圖像、音頻等）的人工智能技術(shù)。它通過學習和理解大量數(shù)據(jù)來模擬人類的創(chuàng)造力。大型語言模型（Large Language Model）是自然語言處理領(lǐng)域中的一種深度學習模型，具有數(shù)以億計的參數(shù)，能夠理解和生成自然語言文本。這些模型通常通過大規(guī)模語料庫的訓練來提高性能。

生成式AI技術(shù)于2010年代初開始出現(xiàn)，當時的變分自動編碼器（VAE）成為第一個廣泛用于生成逼真圖像和語音的深度學習模型。自動編碼器的工作原理是將未標記的數(shù)據(jù)編碼為壓縮表示，然后將數(shù)據(jù)解碼回其原始形式。普通自動編碼器可應用于多種用途，包括重建損壞或模糊的圖像。變分自動編碼器不僅增強了重建數(shù)據(jù)的關(guān)鍵能力，而且還可以輸出原始數(shù)據(jù)的變化形式。

這種生成新數(shù)據(jù)的能力引發(fā)了一系列新技術(shù)的快速發(fā)展，從生成式對抗網(wǎng)絡(luò)（GAN）到擴散模型，這些技術(shù)能夠生成更加逼真的虛構(gòu)圖像。因此，變分自動編碼器為當今的生成式AI奠定了基礎(chǔ)。變分自動編碼器基于編碼器和解碼器塊構(gòu)建而成，這種架構(gòu)也是當今大語言模型（LLM）的基礎(chǔ)。具體來說，編碼器將數(shù)據(jù)集壓縮為密集表示形式，在抽象空間中將相似的數(shù)據(jù)點排列得更緊密。解碼器從這個抽象空間中進行采樣以創(chuàng)建新內(nèi)容，同時保留數(shù)據(jù)集的最重要特征。

Transformer將“編碼器-解碼器”架構(gòu)與文本處理機制相結(jié)合，于是形成了基于解碼器的大型語言模型（decoder-based LLMs）。編碼器將原始文本轉(zhuǎn)換為“嵌入”表示。解碼器將這些嵌入與模型之前的輸出相結(jié)合，并連續(xù)預測句子中的每個單詞。通過填空猜謎游戲，編碼器可以了解單詞與句子之間的關(guān)系，而無需任何人標記詞性。Transformer甚至可以在未制定特定任務的情況下進行預訓練。學習這些強大的表示之后，就可以使用更少的數(shù)據(jù)來增強模型的專業(yè)化水平，以便執(zhí)行給定的任務。Transformer因其全面多樣的功能而被稱為基礎(chǔ)模型?；A(chǔ)模型在理論上可以應用于許多領(lǐng)域，因而提供了加速和擴大生成式AI采用的機會。例如，大規(guī)模參數(shù)的LLM可以改變整個組織中的信息生成和共享方式。參數(shù)是在訓練時使用的變量，有助于推斷新內(nèi)容。只需對LLM進行適當調(diào)整，以適應語義搜索、分類、預測、摘要生成和翻譯等任即可?；A(chǔ)模型的采用得到了一系列主流的新興AI工程最佳實踐的支持，從模型開發(fā)到快速工程，這些通用實踐和方法大幅簡化了整個企業(yè)和生態(tài)系統(tǒng)的協(xié)作?；A(chǔ)模型需要大量的計算、存儲和網(wǎng)絡(luò)資源，會消耗大量的能源。只有經(jīng)過持續(xù)不斷的實驗和迭代才有可能取得成功。

自回歸模型（AM）是一種概率模型，通過對給定序列中在先觀測的每個條件概率進行建模，來描述觀測序列的概率分布。換句話說，自回歸模型通過考慮先前的值來預測序列中的下一個值。在GenAI的背景下，自回歸模型通常用于生成新的數(shù)據(jù)樣本。自回歸模型適用于語言生成、圖像合成和其他生成任務。自回歸模型在應用于自然語言處理任務（例如，大多數(shù)現(xiàn)代LLM，如GPT-3或GPT-4是自回歸的）和圖像生成任務（如PixelCNN）時特別成功。因此可以認為 AM 大模型是和LLM大模型配合使用的。

擴散模型的靈感來自擴散的概念，擴散在物理學中用于模擬一組粒子在兩個不同物理區(qū)域中的運動。用于圖像生成的擴散模型涉及一個神經(jīng)網(wǎng)絡(luò)，用于預測和去除給定噪聲圖像中的噪聲。生成過程相當于首先對圖像應用隨機噪聲（隨機像素），然后迭代使用神經(jīng)網(wǎng)絡(luò)去除噪聲。隨著噪聲的逐漸消除，一個新穎而有意義的圖像被構(gòu)建出來，由額外的機器學習機制控制，如圖4所示。近年來，擴散模型取得了長足的進步，現(xiàn)在對于文本到圖像的生成非常成功，例如穩(wěn)定擴散（Rombach等人，2021）和DALL-E模型家族（OpenAI 2021）。

生成對抗網(wǎng)絡(luò)（GAN）是Goodfellow等人于2014年提出的一種用于任務生成的深度學習模型。GAN由兩部分組成，生成器（Generator）和判別器（Discriminator）。生成器是一個生成輸出圖像的神經(jīng)網(wǎng)絡(luò)，判別器一個評估生成器生成的圖像真實度的神經(jīng)網(wǎng)絡(luò)。生成過程是這兩部分之間的競爭。生成器改進其輸出以誤導判別器，判別器試圖提高其區(qū)分真實圖像和生成圖像的能力，以避免被生成器誤導。因此，生成器將最大限度地提高其生成逼真圖像的能力。如今，GAN用于許多涉及圖像的任務，如生成和增強照片級真實感圖像。

二、ChatGPT發(fā)布后GenAI大模型的發(fā)展

為了更好地了解最新的 GenAI+大模型 的技術(shù)發(fā)展情況，基于《WIPO報告》的專利分析思路，聚焦 ChatGPT 發(fā)布后，即2023年1月以后全球公開的 GenAI 幾個最主要的大模型相關(guān)專利數(shù)據(jù)，了解這方面全球最新的研究成果。本文中所研究的專利是根據(jù)專利摘要、權(quán)利要求或標題中的信息，可以明確屬于哪個大模型的 GanAI 相關(guān)專利，這和《WIPO報告》的專利篩選規(guī)則一致。但是由于所用數(shù)據(jù)庫的不同造成了檢索式略有不同，因此檢索命中數(shù)量也略有不同，但是沒有本質(zhì)變化，不會影響分析結(jié)論。

圖1 2014-2023年GenAI大模型相關(guān)專利公開時間趨勢

從圖 1 各大模型公開趨勢圖可以清晰的得知 GAN 在近10年增長最為迅猛，但是2022年后增長有所放緩；與之相反，2022年后 LLM 和 DM 專利公開量一改過去零星的申請量，其全球申請量呈現(xiàn)了迅速攀升的態(tài)勢?？梢娫贠penAI公司推出ChatGPT的同時，即在2022年，GAN,LLM,DM 的專利申請趨勢已經(jīng)發(fā)生了異動，研發(fā)熱點已經(jīng)順應市場應用的需求發(fā)生了轉(zhuǎn)向。GhatGPT 并非橫空出世的，而是順勢而為，在眾多研發(fā)實體推出的解決方案中脫穎而出，從而引領(lǐng)了之后的研發(fā)方向。

另外 VAE 相關(guān)專利的公開量則在近10年呈現(xiàn)緩慢的增長態(tài)勢，AM 相關(guān)專利則一直只有零星的申請量?？梢?VAE和AM兩個大模型和當今最熱的 GenAI 應用場景并不特別相關(guān)。

GAN，LLM，DM 這3種大模型的技術(shù)發(fā)展和應用受到 ChatGPT 帶來的 AI 技術(shù)轉(zhuǎn)向的深刻影響。我們非常有必要進一步研究ChatGPT發(fā)布后（2023年1月1日~2024年6月30日）各大模型的公開量（見圖 2）。

圖2 ChatGPT發(fā)布后各大模型的公開量

圖2給出了各大模型在ChatGPT發(fā)布后（2023年1月1日~2024年6月30日）的全球相關(guān)專利的公開量。雖然 GAN 相關(guān)專利的公開量的增長有所放緩，但是 GAN 相關(guān)專利公開量仍然是 LLM 相關(guān)專利的兩倍。受 GhatGPT 的發(fā)布影響非常少的大模型 VAE 和 AM 在這段時間的申請量非常少，尤其是 AM 近10年來專利申請量一直都非常少，可以預見在未來沒有新的技術(shù)方向涌現(xiàn)的情況下，AM 大模型將依然并不是最主要的模型。

當然，這里必須指出，根據(jù)專利標題、摘要以及權(quán)利要求等信息，將5種不同的大模型的相關(guān)專利分配在不同組的方法也是有缺陷的，所有GenAI專利家族中有很大一部分不適合任何特定的大模型。許多GenAI專利的標題、摘要以及權(quán)利要求不包含特定的大模型關(guān)鍵字，而是專注于描述專利的應用，并且在專利說明書里面只對使用的GenAI過程進行了一般性描述。這使得我們很難將一些專利映射到五個核心GenAI模型，同時這5種不同的大模型在技術(shù)解決方案上也有一些重疊。

因此以上分析方法可能帶來一些信息失真，我們非常有必要進一步結(jié)合應用領(lǐng)域、大模型訓練/處理的數(shù)據(jù)類型、以及知名GenAI技術(shù)研發(fā)主體進行深入分析，以獲得更加有意義的參考信息。敬請期待！

生成式人工智能（GenAI+）最新專利技術(shù)發(fā)展態(tài)勢系列之二——國外公司的貢獻

生成式人工智能（GenAI+）最新專利技術(shù)發(fā)展態(tài)勢系列