超大規(guī)模預(yù)訓(xùn)練模型是從弱人工智能向通用人工智能的突破性探索，解決了傳統(tǒng)深度學(xué)習(xí)的應(yīng)用碎片化難題，但性能與能耗提升不成比例的效率問題限制了參數(shù)規(guī)模繼續(xù)擴(kuò)張。人工智能研究將從大模型參數(shù)競賽走向大小模型的協(xié)同進(jìn)化，大模型向邊、端的小模型輸出模型能力，小模型負(fù)責(zé)實(shí)際的推理與執(zhí)行，同時(shí)小模型再向大模型反饋算法與執(zhí)行成效，讓大模型的能力持續(xù)強(qiáng)化，形成有機(jī)循環(huán)的智能體系。
趨勢解讀
谷歌的BERT、Open AI的GPT-3、智源的悟道、達(dá)摩院的M6等大規(guī)模預(yù)訓(xùn)練模型取得了重要進(jìn)展，大模型的性能有了飛躍性提升，為下游的AI模型提供了發(fā)展的基礎(chǔ)。然而大模型訓(xùn)練對(duì)資源消耗過大，參數(shù)數(shù)量增加所帶來的性能提升與消耗提升不成比例，讓大模型的效率受到挑戰(zhàn)。
大模型的參數(shù)規(guī)模發(fā)展將進(jìn)入冷靜期，大模型與相關(guān)聯(lián)的小模型協(xié)同將是未來的發(fā)展方向。大模型沉淀的知識(shí)與認(rèn)知推理能力向小模型輸出，小模型基于大模型的基礎(chǔ)疊加垂直場景的感知、認(rèn)知、決策、執(zhí)行能力，再將執(zhí)行與學(xué)習(xí)的結(jié)果反饋給大模型，讓大模型的知識(shí)與能力持續(xù)進(jìn)化，形成一套有機(jī)循環(huán)的智能系統(tǒng)，參與者越多，受惠者越多，模型進(jìn)化的速度也越快。
新的智能體系帶來三個(gè)優(yōu)勢：一是讓小模型更容易獲取通用的知識(shí)與能力，小模型專注在特定場景做極致優(yōu)化，提升了性能與效率;二是解決了過去大模型數(shù)據(jù)集過于單一的問題，小模型在真實(shí)場景回收的增量數(shù)據(jù)，讓大模型有再進(jìn)化的元素;三是全社會(huì)不需要重復(fù)訓(xùn)練相似的大模型，模型可以被共享，讓算力與能源的使用效率最大化。
在協(xié)同進(jìn)化的智能系統(tǒng)下，復(fù)雜系統(tǒng)內(nèi)部可以更有機(jī)地融合，如城市治理的場景，大腦是治理中樞，邊端是各路攝像頭及邊緣設(shè)備。邊端的攝像頭將看到的數(shù)據(jù)進(jìn)行學(xué)習(xí)，將學(xué)習(xí)的結(jié)果反饋給治理中樞，治理中樞再賦能給其他類似場景的攝像頭，形成有機(jī)進(jìn)化的系統(tǒng)。
新的智能體系需要克服三個(gè)挑戰(zhàn)，一是大模型與知識(shí)常識(shí)的融合，將以規(guī)則存在的知識(shí)利用起來，提升模型通用能力的同時(shí)也降低訓(xùn)練所需的數(shù)據(jù)量，讓大模型從數(shù)據(jù)驅(qū)動(dòng)走向知識(shí)與數(shù)據(jù)融合驅(qū)動(dòng);二是大小模型的協(xié)同機(jī)制，包含大模型的知識(shí)與能力向小模型降維遷移的有效性、小模型的小樣本學(xué)習(xí)向大模型的升維融合、不同維度數(shù)據(jù)的清洗與治理等;三是大模型的可解釋性，對(duì)大模型依賴上升的同時(shí)，信任決定是否能被廣泛使用。
我們預(yù)測在未來的三年內(nèi)，在個(gè)別領(lǐng)域?qū)⒁源笠?guī)模預(yù)訓(xùn)練模型為基礎(chǔ)，對(duì)協(xié)同進(jìn)化的智能系統(tǒng)進(jìn)行試點(diǎn)探索。在未來的五年內(nèi)，協(xié)同進(jìn)化的智能系統(tǒng)將成為體系標(biāo)準(zhǔn)，讓全社會(huì)能夠容易地獲取并貢獻(xiàn)智能系統(tǒng)的能力，往通用人工智能再邁進(jìn)一大步。
文章來源：達(dá)摩院DAMO
（轉(zhuǎn)載）
