在2023世界人工智能大會(huì)(WAIC)啟明創(chuàng)投論壇“生成式AI與大模型：變革與創(chuàng)新”上，啟明創(chuàng)投攜手未盡研究，共同發(fā)布重磅報(bào)告《生成式AI》| State of Generative AI 2023。
如果說2022年被稱為生成式人工智能之年，擴(kuò)散模型應(yīng)用取得突破，ChatGPT出世，一系列開創(chuàng)性的研究論文發(fā)表，2023年則把大模型推向了一個(gè)高峰，以GPT-4發(fā)布為標(biāo)志，生成式人工智能，朝著通用人工智能的方向，進(jìn)入了創(chuàng)新應(yīng)用的階段。
這一階段最重要的特征，是應(yīng)用、研究、監(jiān)管，合力開辟著生成式人工智能的創(chuàng)新之路。
1、創(chuàng)新應(yīng)用
人們很快從生成式人工智能中看到了新的商業(yè)生態(tài)的出現(xiàn)，看到了一層又一層的技術(shù)，如計(jì)算、模型和應(yīng)用;看到了生成的內(nèi)容，如文、圖、視頻、代碼、3D結(jié)構(gòu)、多模態(tài);也看到了公開數(shù)據(jù)、垂直數(shù)據(jù)、合成數(shù)據(jù)、向量數(shù)據(jù)，用于大大小小的模型。
生成式人工智能，在中國似乎受到了更加熱情的接納：政府鼓勵(lì)發(fā)展通用人工智能;任何一家大企業(yè)都無法不關(guān)注它;許多從事知識(shí)工作的中小企業(yè)，已經(jīng)先用起來再說。面對(duì)這一革命性的技術(shù)，所有企業(yè)都被卷入。它們節(jié)奏不同，介入程度不同，成為新技術(shù)浪潮下的守成者、創(chuàng)新者、采納者。它們的利潤率被永久的改變了。
算力目前是最稀缺的資源，也處于最容易獲利的要津。算力是大模型成本結(jié)構(gòu)中最大的一塊，GPU的性能，實(shí)際上決定了這個(gè)新興行業(yè)的步調(diào)。隨著算力與模型的進(jìn)步，更多初創(chuàng)企業(yè)正在涌入，它們搶到了時(shí)間的紅利，但也面臨競爭和可能的巨頭碾壓?？梢哉f，這是初創(chuàng)企業(yè)的藍(lán)海，也有航道下的暗礁。
競爭促進(jìn)了創(chuàng)新。與2022年快速涌現(xiàn)出的生產(chǎn)力工具方向的創(chuàng)業(yè)公司不同，2023 年，有更多比例的新公司聚焦在底層技術(shù)的創(chuàng)新;大模型創(chuàng)業(yè)公司也開始分化，在通用大模型創(chuàng)業(yè)公司方興未艾的同時(shí)，許多面向醫(yī)療、電商、科研、工業(yè)、自動(dòng)駕駛和機(jī)器人等特定方向的垂直大模型公司開始出現(xiàn)。
2、前沿研究
2022年和2023年，是生成式人工智能技術(shù)取得突破的兩年，我們梳理了論文，發(fā)現(xiàn)生成式人工智能領(lǐng)域的一個(gè)突出特征，是研究與創(chuàng)新過程的密切結(jié)合，許多在企業(yè)內(nèi)部實(shí)現(xiàn)，迅速推出用例和產(chǎn)品。這種研究與創(chuàng)業(yè)的一體化，初創(chuàng)企業(yè)和風(fēng)險(xiǎn)資本起到了重要的作用，而美國科技巨頭和主要人工智能企業(yè)的研究投入與人才，包括一些底層技術(shù)的研究，這些年來已經(jīng)超過了大學(xué)等研究機(jī)構(gòu)。
人工智能的前沿正在向未來推進(jìn)。盡管從GPT-4的技術(shù)報(bào)告，到微軟的研究論文，都展示出它所具有的接近于人類的文字處理能力、數(shù)學(xué)推理能力，以及諸多專業(yè)領(lǐng)域的知識(shí)?！拔覀冋J(rèn)為它可以合理地被視為人工通用智能(AGI)系統(tǒng)的早期(盡管仍不完整)版本?！钡牵谕ㄍㄓ萌斯ぶ悄艿牡缆飞?，需要研究和解決的問題反而更多了。如信心校準(zhǔn)、長期記憶、持續(xù)學(xué)習(xí)、個(gè)性化、規(guī)劃和概念跨越、透明度、認(rèn)知謬誤和非理性，等等。
過去半年最重要的研究方向，是破解和理解大模型神秘而又令人興奮的智能“涌現(xiàn)”。大模型既需要超越對(duì)下一個(gè)詞的預(yù)測(cè)能力，也需要一個(gè)更豐富、更復(fù)雜的“慢思考”深層機(jī)制，來監(jiān)督“快思考”預(yù)測(cè)下一個(gè)詞的機(jī)制。
那些最好的前沿研究，一定是研究和解決技術(shù)規(guī)模應(yīng)用中遇到的問題。研究如何減少幻覺，調(diào)教大模型更加準(zhǔn)確地輸出真實(shí)的內(nèi)容，訓(xùn)練出更強(qiáng)的推理能力;如何更集約地訓(xùn)練模型，降低門檻，推出新產(chǎn)品，讓更多的各行各業(yè)和消費(fèi)者都能用上;如何能像人一樣，與真實(shí)的物理世界互動(dòng);如何成為人類復(fù)雜工作的助手，設(shè)計(jì)并幫助執(zhí)行科學(xué)實(shí)驗(yàn);如何影響就業(yè)，從而做出政策的響應(yīng);如何讓人工智能安全和可信。
3、監(jiān)管 | 安全 | 政策 | 人才
政府對(duì)于生成式人工智能的監(jiān)管反應(yīng)相當(dāng)及時(shí)，各國也出現(xiàn)了不同的特點(diǎn)。中國在迅速推出生成式人工智能的監(jiān)管辦法并征求意見的同時(shí)，也在鼓勵(lì)發(fā)展通用人工智能，北京、上海、深圳是最具雄心的第一梯隊(duì)，均提出了較具雄心的人工智能科研、創(chuàng)新與產(chǎn)業(yè)目標(biāo)。歐盟繼續(xù)在監(jiān)管和立法方面領(lǐng)先，一如其5年前率先推出GDPR。美國更在意人工智能技術(shù)的領(lǐng)先地位，正在形成以風(fēng)險(xiǎn)管理為原則的監(jiān)管框架。
長期來看，人才對(duì)人工智能未來的影響，超過了算力。中國研究人員發(fā)布的論文在數(shù)量上已經(jīng)超過了美國，但金字塔頂端，無論是研究還是創(chuàng)業(yè)，美國仍然占據(jù)明顯的優(yōu)勢(shì)。在全球范圍內(nèi)，人工智能研究創(chuàng)新的重心正從高校轉(zhuǎn)移至企業(yè)，美國擁有頂尖學(xué)者最多的前三大機(jī)構(gòu)，分別是谷歌、微軟與Meta，合計(jì)招攬了美國頂級(jí)學(xué)者的30%。中國仍以高校為主，僅阿里巴巴躋身前10。
科技部已經(jīng)提出了人工智能企業(yè)，應(yīng)該接受科技倫理審查;審查主體應(yīng)該設(shè)立科技倫理(審查)委員會(huì)。美國人工智能企業(yè)較早開始設(shè)立負(fù)責(zé)任與可信人工智能部門，從去年到今年以來經(jīng)過一些調(diào)整，反映出在生成式人工智能發(fā)生變革之際，企業(yè)正在尋求用更好的技術(shù)和方案，來安全和負(fù)責(zé)地部署新技術(shù)。
4、十大前瞻
大語言模型
1. 2024年中國將出現(xiàn)比肩GPT-4的多語言通用大模型;
2. 超長上下文(Long Context)將引領(lǐng)下一次LLM技術(shù)突破;
3. 在出現(xiàn)更有前景的大語言模型之前，為實(shí)現(xiàn)垂直領(lǐng)域更好的效果，以下三種方式將共存：
i)在不改變數(shù)據(jù)分布的情況下，利用更多通用數(shù)據(jù)進(jìn)行通用大模型預(yù)訓(xùn)練，不特別引入行業(yè)數(shù)據(jù)，
ii)利用行業(yè)專屬數(shù)據(jù)微調(diào)(Fine-Tuning)通用大模型，
iii)利用行業(yè)數(shù)據(jù)占比更高的數(shù)據(jù)集進(jìn)行垂直模型預(yù)訓(xùn)練。
多模態(tài)模型
1. 當(dāng)前CLIP + Diffusion的文生圖模型是過渡態(tài)，未來2年內(nèi)將出現(xiàn)一體化的模型結(jié)構(gòu);
2. 下一代Text-to-Image模型將具備更強(qiáng)的可控性，它將結(jié)合底層模型能力和前端控制方式，對(duì)模型的設(shè)計(jì)將注重與控制方式的結(jié)合;
3. 2025年之前，Video和3D等模態(tài)將迎來里程碑式的模型，大幅提高生成效果;
4. 以PALM-E為代表的具身智能(Embodied AI)展現(xiàn)出在機(jī)器人的感知、理解和決策等方向上的巨大潛力，但當(dāng)前訓(xùn)練和可靠性存在較大挑戰(zhàn);
5. 短期內(nèi)Transformer正成為多個(gè)模態(tài)的主流網(wǎng)絡(luò)結(jié)構(gòu)，但壓縮整個(gè)數(shù)字世界的通用方法尚未出現(xiàn)，Transformer并不是人工智能技術(shù)的終點(diǎn)。
商業(yè)機(jī)會(huì)
1. 3年內(nèi)，顛覆式的AI應(yīng)用的核心驅(qū)動(dòng)力來自于底層模型的創(chuàng)新，兩者無法解耦，模型的作用將大于產(chǎn)品設(shè)計(jì)的作用;
2. 當(dāng)前生成式AI市場(chǎng)處于技術(shù)主導(dǎo)的早期階段，存在千億美元市值的平臺(tái)性企業(yè)的機(jī)會(huì)。
（世界人工智能大會(huì)）
