幾年來，預(yù)訓(xùn)練大模型逐漸從一個(gè)AI領(lǐng)域內(nèi)的技術(shù)語言，變成了強(qiáng)勢(shì)出圈的產(chǎn)業(yè)熱點(diǎn)與社會(huì)關(guān)注話題。但如果大家關(guān)注這一話題，會(huì)很容易注意到越來越多的聲音開始反思大模型的發(fā)展之路。比如，大模型是不是應(yīng)該一味追求龐大的訓(xùn)練參數(shù)?在發(fā)展路徑上我們是不是只能嚴(yán)格對(duì)標(biāo)GPT-3等國(guó)際著名大模型產(chǎn)品?
當(dāng)中國(guó)科技企業(yè)與研究機(jī)構(gòu)紛紛投入大模型競(jìng)爭(zhēng)時(shí)，是不是有可能探索出一條屬于自己的道路?
在科技自立的需求愈發(fā)嚴(yán)峻與明確時(shí)，透過大模型競(jìng)賽，我們可以看到更多關(guān)于AI的產(chǎn)業(yè)啟示與戰(zhàn)略思考。
12月8日，鵬城實(shí)驗(yàn)室與百度聯(lián)合召開發(fā)布會(huì)，正式發(fā)布雙方共同研發(fā)的全球首個(gè)知識(shí)增強(qiáng)千億大模型——鵬城-百度·文心。這一大模型參數(shù)規(guī)模達(dá)到2600億，并且在全球60多項(xiàng)NLP任務(wù)中取得了最佳效果。同時(shí)，百度產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型“文心”家族也首次亮相。
早在2019年，百度就開始布局文心預(yù)訓(xùn)練模型，如今它也率先走向了差異化拐點(diǎn)。當(dāng)大眾對(duì)知識(shí)增強(qiáng)這一概念的熟稔遠(yuǎn)不如大模型本身時(shí)，百度文心選擇了這條聽上去陌生，但卻至關(guān)重要的產(chǎn)業(yè)新徑。
大模型為什么重要?為什么我們應(yīng)該在大模型上探索出新的方向?透過百度文心大模型，我們看到的是科技自立的遠(yuǎn)方，看到的是中國(guó)AI的飛翔之地。
大模型不是軍備競(jìng)賽，
而是教育競(jìng)賽
首先來看大模型本身的行業(yè)意義與發(fā)展背景。
如今，似乎每家AI企業(yè)和研究機(jī)構(gòu)都在做大模型。這種火熱局面經(jīng)常被稱為“大模型的軍備競(jìng)賽”。但如果我們要理解的是，大模型本身是一種產(chǎn)業(yè)基礎(chǔ)設(shè)施和輔助工具，并不是企業(yè)與機(jī)構(gòu)的“不傳之秘”。
AI產(chǎn)業(yè)發(fā)展大模型，就像是國(guó)家發(fā)展教育事業(yè)，本身是為了培養(yǎng)更多人才和創(chuàng)新能力，增強(qiáng)整個(gè)社會(huì)的能動(dòng)性。
通過海量數(shù)據(jù)的預(yù)訓(xùn)練集成，大模型可以有效降低個(gè)體企業(yè)與具體行業(yè)的AI應(yīng)用門檻，解決數(shù)據(jù)標(biāo)注與行業(yè)差異化適配的問題。大模型就像一間間學(xué)校，培養(yǎng)了具有通識(shí)能力與高素質(zhì)的人才，從而避免了企業(yè)需要從小學(xué)知識(shí)開始重新培養(yǎng)人才。
這也就將引出一個(gè)關(guān)鍵問題：既然大模型是一種“教育系統(tǒng)”，那么教育就應(yīng)該貼合社會(huì)的實(shí)際需求。學(xué)?？隙ú皇且杂玫袅硕嗌贂緛碓u(píng)價(jià)質(zhì)量，就像大模型不能僅以訓(xùn)練參數(shù)定優(yōu)劣，更重要的是教育方法是不是與社會(huì)適配，能否培育出具有強(qiáng)大能力的人才。
從這個(gè)維度上思考，中國(guó)AI產(chǎn)業(yè)要一直跟隨GPT-3等大模型的腳步，一味在訓(xùn)練參數(shù)上標(biāo)榜自身嗎?
中國(guó)的產(chǎn)業(yè)底座、應(yīng)用需求、技術(shù)領(lǐng)導(dǎo)力，是否有可能培育出自己的差異化大模型之路?
此次百度發(fā)布的鵬城-百度·文心，以及亮相的百度文心大模型，或許就是答案的方向。
跳出藩籬：
知識(shí)增強(qiáng)大模型的差異化之路
2019年3月，在全球大模型的剛剛開始起步的時(shí)候，百度就發(fā)布了ERNIE 1.0版本，提出了知識(shí)增強(qiáng)的語義表示模型。2019年7月，ERNIE 2.0 則構(gòu)建了持續(xù)學(xué)習(xí)語義理解框架，在中英文 16 個(gè)任務(wù)上取得了業(yè)界最佳效果。
面向NLP領(lǐng)域AI的探索，文心大模型跳出了以往大模型的窠臼，采用了知識(shí)增強(qiáng)這一全新技術(shù)路徑。知識(shí)增強(qiáng)將百度在知識(shí)圖譜、跨模態(tài)學(xué)習(xí)等領(lǐng)域的技術(shù)能力，與模型訓(xùn)練學(xué)習(xí)方面的產(chǎn)業(yè)積累結(jié)合，實(shí)現(xiàn)了更高效率的學(xué)習(xí)，令模型的理解與生成能力顯著增強(qiáng)。
這也很像人類學(xué)習(xí)的過程，具體信息的學(xué)習(xí)固然重要，同時(shí)知識(shí)與邏輯的學(xué)習(xí)也必不可少。知識(shí)既構(gòu)成了人的通識(shí)能力基礎(chǔ)，也可以顯著提升具體能力的學(xué)習(xí)與應(yīng)用。在大模型領(lǐng)域，知識(shí)與深度學(xué)習(xí)的結(jié)合起到了事半功倍的效果。
與此同時(shí)，文心大模型還強(qiáng)化了跨語言、跨模態(tài)的學(xué)習(xí)能力。在技術(shù)的不斷迭代之下，文心大模型的泛化能力更強(qiáng)，可以適應(yīng)更具體真實(shí)的任務(wù)應(yīng)用，尤其是處理小樣本學(xué)習(xí)任務(wù)的能力。
(鵬城-百度·文心模型結(jié)構(gòu)圖)
這條差異化之路，讓鵬城-百度·文心千億大模型可以實(shí)現(xiàn)更高效率的學(xué)習(xí)，并在同等參數(shù)空間下實(shí)現(xiàn)效果更優(yōu)，并且符合真實(shí)場(chǎng)景的應(yīng)用需求。而能夠?qū)崿F(xiàn)知識(shí)增強(qiáng)這條新路的開拓，得益于百度在知識(shí)、深度學(xué)習(xí)、以及模型開發(fā)訓(xùn)練并行且長(zhǎng)期的布局積累，也得益于鵬城云腦Ⅱ提供的強(qiáng)大算力。
中國(guó)AI的積累、實(shí)力與需求，共同構(gòu)成了差異化之路的起點(diǎn)。從這個(gè)意義上來看，知識(shí)增強(qiáng)大模型的價(jià)值并不僅僅在大模型本身。
走向通用：
百度文心的應(yīng)用拓展空間
BERT、GPT-3等大模型確實(shí)取得了驚人的效果，但大模型也經(jīng)常因?yàn)閼?yīng)用上的滯后性引發(fā)質(zhì)疑。其原因主要來自兩方面：一是大模型的算力需求過大，成本高昂;二是大模型的泛化能力欠佳，經(jīng)常難以解決應(yīng)用場(chǎng)景中復(fù)雜多變的實(shí)際問題。
面對(duì)這些問題，鵬城-百度·文心實(shí)現(xiàn)了更強(qiáng)的應(yīng)用能力。在場(chǎng)景化應(yīng)用方案中，鵬城-百度·文心可以實(shí)現(xiàn)多尺寸的模型蒸餾，甚至以極小尺寸適配具體需求，降低大模型使用門檻與成本。
在通用能力上，通過與知識(shí)的結(jié)合加上跨語言、跨模態(tài)能力的融入，文心大模型可以適配更加多樣化、通用化的任務(wù)，在通信、金融、醫(yī)療等領(lǐng)域具備廣泛的應(yīng)用前景與想象空間。
鵬城-百度·文心在60多項(xiàng)國(guó)際著名任務(wù)上取得了領(lǐng)先優(yōu)勢(shì)，其中有30多項(xiàng)是小樣本、零樣本學(xué)習(xí)的任務(wù)，表明了鵬城-百度·文心的泛化應(yīng)用能力更強(qiáng)，可以低門檻適配行業(yè)需求與行業(yè)能力。
(鵬城-百度·文心小樣本學(xué)習(xí)效果)
(鵬城-百度·文心零樣本學(xué)習(xí)效果)
在金融領(lǐng)域，文心大模型賦能可以結(jié)合百度全流程AI開發(fā)平臺(tái)BML提供的模型再訓(xùn)練能力，基于定制的保險(xiǎn)合同條款“智能解析模型”，完成一份合同內(nèi)近40個(gè)類目條款的智能分類，讓業(yè)務(wù)員處理單份合同文本的時(shí)長(zhǎng)縮短到1分鐘，速度提升幾十倍。在智能客服領(lǐng)域，文心大模型可以有效提升服務(wù)的精準(zhǔn)性。這一能力目前已經(jīng)在浦發(fā)銀行、中國(guó)聯(lián)通等國(guó)內(nèi)眾多企業(yè)中得到應(yīng)用。
整體而言，文心大模型在相對(duì)復(fù)雜、有考驗(yàn)性的應(yīng)用場(chǎng)景具備更加強(qiáng)大的表現(xiàn)。比如媒體創(chuàng)作、醫(yī)療文本分析、金融信息研判、合同分析等等，這些應(yīng)用空間非常廣闊，并且能夠適配的AI技術(shù)凈值很高，具有明確的商業(yè)化動(dòng)力。
AI正在走向工業(yè)大生產(chǎn)，其中核心就是讓實(shí)驗(yàn)室中的強(qiáng)大AI能力，走入產(chǎn)業(yè)，擁抱真實(shí)需求。而這就需要大模型具備更強(qiáng)的通用化能力，鵬城-百度·文心正是踏出了這樣的關(guān)鍵一步。
文心之路，自立之路：
中國(guó)AI的飛翔之地
從技術(shù)差異和應(yīng)用場(chǎng)景出發(fā)，我們其實(shí)可以從鵬城-百度·文心和百度文心大模型里看到更遠(yuǎn)。如今，科技自立成為了時(shí)代潮流與企業(yè)責(zé)任，而到底什么是真正的科技自立呢?從鵬城-百度·文心中，我們或許能找到一些新的經(jīng)驗(yàn)與標(biāo)準(zhǔn)。
在全球矚目的大模型領(lǐng)域中，知識(shí)增強(qiáng)大模型成功打破了固有邊界，跳出了“質(zhì)變沒有就拼量變”的傳統(tǒng)邏輯?？萍甲粤⒉皇悄阌惺裁次乙惨肇埉嫽ⅲ阌星|參數(shù)我有萬億參數(shù)，而是結(jié)合自己的特點(diǎn)與需求，走出能夠引領(lǐng)潮流，有獨(dú)特發(fā)展空間的差異化之路。
此次百度的大模型最新發(fā)布亮相，可以看到中國(guó)AI厚積薄發(fā)，學(xué)中能變的時(shí)代腳步。
在前沿探索上，百度文心大模型在知識(shí)增強(qiáng)這個(gè)關(guān)鍵點(diǎn)上打破了大模型的產(chǎn)業(yè)壁壘，探索全新的技術(shù)可能與應(yīng)用特性，并且將跨語言、跨模態(tài)等前沿技術(shù)融入其中，構(gòu)筑更具領(lǐng)導(dǎo)力的技術(shù)創(chuàng)新，讓中國(guó)AI不再僅僅成為模仿者。
在產(chǎn)業(yè)協(xié)作，百度與鵬城云腦Ⅱ的合作，可以說是集合了中國(guó)AI的“最強(qiáng)實(shí)力組合”?！谤i城云腦Ⅱ”是自主研發(fā)的E級(jí)AI算力平臺(tái)，曾在多個(gè)國(guó)際性能測(cè)試比賽中奪冠。鵬城-百度·文心將基礎(chǔ)設(shè)施與前沿產(chǎn)業(yè)探索進(jìn)行了有效適配。這種產(chǎn)學(xué)一體，軟硬件協(xié)作，有效利用鵬城云腦Ⅱ作為創(chuàng)新底座的方式可以說是中國(guó)AI所獨(dú)有，在未來很長(zhǎng)一段時(shí)間將是中國(guó)AI產(chǎn)業(yè)的特殊優(yōu)勢(shì)。
在戰(zhàn)略協(xié)同中，鵬城-百度·文心可以有效融入百度云智一體的戰(zhàn)略架構(gòu)，大模型通過飛槳的技術(shù)創(chuàng)新特性帶來高效的訓(xùn)練結(jié)果，同時(shí)大模型也天然與百度智能云結(jié)合，構(gòu)成了開發(fā)者和企業(yè)選擇百度的動(dòng)力。云智一體，指向泛化應(yīng)用與產(chǎn)業(yè)需求的AI發(fā)展策略，也是中國(guó)AI的獨(dú)特一面。
從源頭技術(shù)創(chuàng)新，到大模型的知識(shí)增強(qiáng)之路;從飛槳核心技術(shù)的有效利用，到與鵬城云腦的軟硬件合作，鵬城-百度·文心千億大模型的每一步都根基于自主，每一個(gè)選擇都趨向于自立。這種既能破壁求變，也能務(wù)實(shí)協(xié)同的發(fā)展方法，就是中國(guó)AI的飛翔之地。
最近有個(gè)話題頻頻登上熱搜，叫做“中國(guó)有偉大的知識(shí)寶庫(kù)”。在知識(shí)增強(qiáng)的創(chuàng)新之路中，鵬城-百度·文心指向的，就是中國(guó)AI這樣一個(gè)偉大的知識(shí)寶庫(kù)。
文章來源：風(fēng)辭遠(yuǎn) 腦極體
（轉(zhuǎn)載）
