3月14日，商湯科技發(fā)布多模態(tài)多任務(wù)通用大模型“書生(INTERN)2.5”。
其擁有30億參數(shù)，是目前全球開源模型中ImageNet準(zhǔn)確度最高、規(guī)模最大，同時也是物體檢測標(biāo)桿數(shù)據(jù)集COCO中唯一超過65.0 mAP的模型。
憑借在多模態(tài)多任務(wù)處理能力方面多項突破，“書生2.5”的圖文跨模態(tài)開放任務(wù)處理能力可為自動駕駛、機器人等通用場景任務(wù)提供高效精準(zhǔn)的感知和理解能力支持，向通用人工智能邁出堅實的一步?！皶庇缮虦萍肌⑸虾Ｈ斯ぶ悄軐嶒炇?、清華大學(xué)、香港中文大學(xué)、上海交通大學(xué)于2021年11月首次共同發(fā)布，并持續(xù)聯(lián)合研發(fā)。
即日起，“書生2.5”多模態(tài)通用大模型已在商湯參與的通用視覺開源平臺OpenGVLab開源。
邁向AGI通用人工智能
當(dāng)今快速增長的各式應(yīng)用需求下，傳統(tǒng)計算機視覺已無法處理真實世界中數(shù)不勝數(shù)的特定任務(wù)。我們迫切需要一種具備通用場景感知和復(fù)雜問題處理能力的高級視覺系統(tǒng)。
“書生2.5”實現(xiàn)了通過文本來定義任務(wù)，從而可以靈活地定義不同場景的任務(wù)需求，并根據(jù)給定視覺圖像和任務(wù)的提示性語句，給出相應(yīng)的指令或作答，進而具備通用場景下的高級感知和復(fù)雜問題處理能力，比如圖像描述、視覺問答、視覺推理和文字識別等。
在自動駕駛和居家機器人等通用場景下，“書生2.5”可輔助處理各種復(fù)雜任務(wù)。
例如，在自動駕駛場景中，可以大幅提升場景感知理解能力，準(zhǔn)確輔助車輛判斷交通信號燈狀態(tài)、道路標(biāo)志牌等信息，為車輛決策規(guī)劃提供有效信息輸入。
利用多模態(tài)多任務(wù)通用大模型輔助完成自動駕駛場景中各類復(fù)雜任務(wù)
利用多模態(tài)多任務(wù)通用大模型輔助完成居家機器人場景中各類復(fù)雜任務(wù)
除解決自動駕駛和居家機器人這類復(fù)雜問題的能力，“書生2.5”通用大模型也可解決紛繁復(fù)雜的日常生活中的常見任務(wù)，滿足各種需求。
除全圖級別的以圖生文，“書生2.5”通用大模型同樣可根據(jù)物體邊框更精細化定位任務(wù)需求。
“書生2.5”同時具備AIGC“以文生圖”的能力。可根據(jù)用戶提出的文本創(chuàng)作需求，利用擴散模型生成算法，生成高質(zhì)量、自然的寫實圖像。
例如，借助“書生2.5”的以文生圖能力幫助自動駕駛技術(shù)研發(fā)，通過生成各類真實的道路交通場景，如繁忙的城市街道、雨天擁擠車道、馬路上奔跑的狗等，生成寫實的Corner Case訓(xùn)練數(shù)據(jù)，進而訓(xùn)練自動駕駛系統(tǒng)對Corner Case場景的感知能力上限。
“書生2.5”還可根據(jù)文本快速檢索出視覺內(nèi)容。
例如，可在相冊中返回文本所指定的相關(guān)圖像，或是在視頻中檢索出與文本描述最相關(guān)的幀，提高視頻中時間定位任務(wù)的效率。此外還支持引入物體檢測框，根據(jù)文本返回最相關(guān)的物體，實現(xiàn)開放世界視頻或圖像中物體檢測及視覺定位。
高效能打通自然語言、圖像等多模態(tài)任務(wù)處理
“書生2.5”在圖文跨模態(tài)領(lǐng)域卓越的性能表現(xiàn)來自于視覺、語音及多任務(wù)建模三大模型能力的有效融合，即InternImage-G通用視覺大模型、用于文本理解的超大語言預(yù)訓(xùn)練模型(LLM)和用于多任務(wù)的兼容解碼建模大模型(Uni-Perceiver)。
其中，InternImage-G通用視覺大模型能夠基于動態(tài)稀疏卷積算子自適應(yīng)地調(diào)整卷積的位置和組合方式，從而為多功能視覺感知提供強大的表示。
超大語言模型通過在超大規(guī)模豐富文本語料庫上進行預(yù)訓(xùn)練提供強大可靠的文本特征。
Uni-Perceiver通才任務(wù)解碼建模通過將不同模態(tài)的數(shù)據(jù)編碼到統(tǒng)一的表示空間，將不同任務(wù)統(tǒng)一為相同的任務(wù)范式，從而能夠以相同的架構(gòu)和共享的模型參數(shù)同時處理各種模態(tài)和任務(wù)。
此外，“書生2.5”還創(chuàng)新性地引入了任務(wù)級別的稀疏激活機制，使其具備高效率的多任務(wù)協(xié)作能力。
在視覺主流圖像分類數(shù)據(jù)集ImageNet上，該模型僅基于公開數(shù)據(jù)便達到90.1%的Top-1準(zhǔn)確率。這是除谷歌與微軟之外，唯一準(zhǔn)確率超過90.0%的模型。值得一提的是，谷歌與微軟均未公開模型及額外數(shù)據(jù)集。
除高精確度的語義理解能力外，“書生2.5”在目標(biāo)定位性能上同樣有著出色的表現(xiàn)。在物體檢測標(biāo)桿數(shù)據(jù)集COCO上，取得了65.4的mAP?！皶?.5”也在包括圖像分類、物體檢測、語義分割、圖像描述、圖文檢索等20+個不同場景、不同任務(wù)的單模態(tài)和跨模態(tài)公開數(shù)據(jù)集中都取得了最佳成績。
“書生2.5”在20余個不同場景不同任務(wù)的單模態(tài)和跨模態(tài)公開數(shù)據(jù)集中都取得了最佳成績
當(dāng)前，“書生”還在持續(xù)學(xué)習(xí)、不斷進步，致力于推動多模態(tài)多任務(wù)通用模型技術(shù)的突破，驅(qū)動通用人工智能技術(shù)的創(chuàng)新應(yīng)用生態(tài)，為推動人工智能學(xué)術(shù)、產(chǎn)業(yè)發(fā)展做出貢獻。
（商湯科技）
