2024世界人工智能大會(huì)(WAIC)期間，作為全球醫(yī)療大模型創(chuàng)新先行者，商湯醫(yī)療攜手瑞金醫(yī)院、華西醫(yī)院、新華醫(yī)院、西京醫(yī)院、中科大附屬第一醫(yī)院、北京清華長(zhǎng)庚醫(yī)院，在行業(yè)內(nèi)率先啟動(dòng)醫(yī)療多模態(tài)大模型賦能的智慧醫(yī)院創(chuàng)新示范共創(chuàng)，打造由大模型“智慧中樞”驅(qū)動(dòng)的智慧醫(yī)院建設(shè)示范樣板。
作為共創(chuàng)的重要成果之一，商湯醫(yī)療聯(lián)合中華醫(yī)學(xué)會(huì)病理學(xué)分會(huì)王哲副主委團(tuán)隊(duì)、清華大學(xué)何永紅教授團(tuán)隊(duì)，共同發(fā)布了國(guó)內(nèi)首個(gè)病理大模型，基于國(guó)內(nèi)規(guī)模最大的數(shù)字病理圖像數(shù)據(jù)集訓(xùn)練，并實(shí)現(xiàn)全球最廣泛的臨床任務(wù)賦能。商湯醫(yī)療已將該成果深度嵌入業(yè)內(nèi)領(lǐng)先的數(shù)智化病理科整體解決方案，助力醫(yī)院“一站式”建設(shè)大模型驅(qū)動(dòng)的數(shù)字化智慧病理科，開(kāi)啟病理診斷“新篇章”。
中華醫(yī)學(xué)會(huì)病理學(xué)分會(huì)副主任委員、中國(guó)醫(yī)師協(xié)會(huì)病理醫(yī)師分會(huì)副會(huì)長(zhǎng)王哲(右二)，上海交通大學(xué)醫(yī)學(xué)院附屬新華醫(yī)院臨床研究與創(chuàng)新中心主任、新華兒童醫(yī)院副院長(zhǎng)孫新(左二)，上海市數(shù)字醫(yī)學(xué)創(chuàng)新中心專職副主任朱立峰(右三)，華西生物醫(yī)學(xué)大數(shù)據(jù)中心研究員、華西醫(yī)院-商湯科技聯(lián)合實(shí)驗(yàn)室主任李康(左三)，中國(guó)醫(yī)師協(xié)會(huì)智慧醫(yī)療專業(yè)委員會(huì)總干事、清華大學(xué)附屬北京清華長(zhǎng)庚醫(yī)院科研部部長(zhǎng)趙邑(左一)，商湯科技副總裁張少霆(右一)共同啟動(dòng)“大模型賦能智慧醫(yī)院創(chuàng)新示范共創(chuàng)儀式”
醫(yī)療大模型成智慧醫(yī)院“中樞大腦”
生成式人工智能的出現(xiàn)，讓智慧醫(yī)療大跨步邁入3.0時(shí)代。“2.0時(shí)代的醫(yī)療人工智能主要集中在‘單點(diǎn)應(yīng)用’上，尚未實(shí)現(xiàn)整體‘一盤(pán)棋’布局。在3.0時(shí)代，我們希望利用醫(yī)療大模型幫助醫(yī)院建立一個(gè)‘中樞大腦’，實(shí)現(xiàn)對(duì)智慧醫(yī)院建設(shè)的底層賦能。”商湯科技副總裁張少霆表示。
要成為“中樞大腦”意味著醫(yī)療大模型必須具備綜合分析多模態(tài)數(shù)據(jù)的能力。為了跨越這條“鴻溝”，WAIC期間，商湯醫(yī)療聯(lián)合上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院、四川大學(xué)華西醫(yī)院、上海交通大學(xué)醫(yī)學(xué)院附屬新華醫(yī)院、空軍軍醫(yī)大學(xué)西京醫(yī)院、中國(guó)科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院、清華大學(xué)附屬北京清華長(zhǎng)庚醫(yī)院，共同舉行“大模型賦能智慧醫(yī)院創(chuàng)新示范共創(chuàng)儀式”，打造以醫(yī)療多模態(tài)大模型為創(chuàng)新驅(qū)動(dòng)的智慧醫(yī)院建設(shè)示范樣板。各方以商湯醫(yī)療大語(yǔ)言模型“大醫(yī)”作為智慧醫(yī)院建設(shè)“中樞大腦”，智能調(diào)度覆蓋醫(yī)學(xué)文本、放射影像、病理圖像等多種數(shù)據(jù)模態(tài)的專用模型，輔助醫(yī)生完成跨科室、跨模態(tài)的復(fù)雜診斷推理。
商湯與合作醫(yī)院?jiǎn)?dòng)醫(yī)療多模態(tài)大模型賦能的智慧醫(yī)院標(biāo)桿聯(lián)合共創(chuàng)
上述多模態(tài)能力的實(shí)現(xiàn)，離不開(kāi)“通才”模型和“專才”模型的默契配合。
在7月6日下午舉辦的2024世界人工智能大會(huì)醫(yī)療大模型創(chuàng)新發(fā)展論壇暨上海市醫(yī)療大模型應(yīng)用示范場(chǎng)景征集宣貫會(huì)上，張少霆受邀分享了商湯醫(yī)療在該方面的創(chuàng)新實(shí)踐。
“通才”模型方面，“大醫(yī)”的基座模型“商量”實(shí)現(xiàn)語(yǔ)言理解和交互能力全面升級(jí)，此前在中文大模型測(cè)評(píng)基準(zhǔn)SuperCLUE中刷新了國(guó)內(nèi)最好成績(jī)，成為首個(gè)超越GPT-4 Turbo的國(guó)產(chǎn)大模型。得益于此，“大醫(yī)”的邏輯推理和智能問(wèn)答等“通才”能力再度實(shí)現(xiàn)飛躍。
“專才”模型研發(fā)方面，商湯醫(yī)療已推出一系列精通不同模態(tài)醫(yī)學(xué)圖像分析的領(lǐng)域?qū)Ｓ媚Ｐ?，持續(xù)引領(lǐng)智慧醫(yī)療行業(yè)創(chuàng)新。
結(jié)合“通才”模型強(qiáng)大的綜合性能，與多模態(tài)“專才”模型在特定任務(wù)中的優(yōu)勢(shì)能力，通過(guò)“通專融合”的路徑打造“醫(yī)療多模態(tài)智能體”，高效助力智慧醫(yī)院建設(shè)“一盤(pán)棋”布局，幫助醫(yī)院實(shí)現(xiàn)多場(chǎng)景全方位智能升級(jí)。
商湯以醫(yī)療大語(yǔ)言模型作為智慧醫(yī)院建設(shè)“中樞大腦”，智能調(diào)度多模態(tài)專用模型
發(fā)布國(guó)內(nèi)首個(gè)病理大模型，開(kāi)啟病理診斷“新篇章”
作為醫(yī)療多模態(tài)大模型聯(lián)合共創(chuàng)的首批成果之一，WAIC期間，商湯醫(yī)療聯(lián)合中華醫(yī)學(xué)會(huì)病理學(xué)分會(huì)王哲副主委團(tuán)隊(duì)、清華大學(xué)何永紅教授團(tuán)隊(duì)，共同發(fā)布了國(guó)內(nèi)首個(gè)病理大模型PathOrchestra。
中華醫(yī)學(xué)會(huì)病理學(xué)分會(huì)副主任委員、中國(guó)醫(yī)師協(xié)會(huì)病理醫(yī)師分會(huì)副會(huì)長(zhǎng)王哲(中)，清華大學(xué)深圳國(guó)際研究生院生醫(yī)健康工程研究院，生物醫(yī)學(xué)工程、光學(xué)教授何永紅(左)，商湯科技副總裁張少霆(右)共同發(fā)布國(guó)內(nèi)首個(gè)病理大模型PathOrchestra
病理診斷被譽(yù)為疾病診斷的“金標(biāo)準(zhǔn)”，但該領(lǐng)域長(zhǎng)期以來(lái)面臨病理醫(yī)生培養(yǎng)周期長(zhǎng)、優(yōu)質(zhì)病理診斷資源分布不均勻等問(wèn)題。人工智能技術(shù)的應(yīng)用讓國(guó)內(nèi)外病理科迎來(lái)數(shù)智化轉(zhuǎn)型浪潮，不過(guò)由于數(shù)字病理切片分辨率高、涉及病種多，在“大數(shù)據(jù)+精標(biāo)注”的傳統(tǒng)AI模型訓(xùn)練范式下，想要對(duì)每一種疾病進(jìn)行精標(biāo)注訓(xùn)練幾乎是“不可能完成的任務(wù)”。
此次發(fā)布的病理大模型PathOrchestra，利用國(guó)內(nèi)規(guī)模最大的近30萬(wàn)張全切片數(shù)字病理圖像(近300TB數(shù)據(jù))數(shù)據(jù)集訓(xùn)練，并融合了文本、視頻等多模態(tài)訓(xùn)練數(shù)據(jù)。通過(guò)對(duì)海量數(shù)據(jù)的自監(jiān)督學(xué)習(xí)，無(wú)需大量精標(biāo)注數(shù)據(jù)，即可讓模型“觸類旁通”學(xué)會(huì)分析各類器官病理圖像，已覆蓋肺、乳腺、肝臟、食管等20余種器官，賦能包括泛癌分類、病灶識(shí)別和檢測(cè)、多癌種亞型分類、生物標(biāo)志物評(píng)估等在內(nèi)的百余項(xiàng)臨床任務(wù)，已在多器官泛癌分類、淋巴瘤亞型診斷、膀胱癌篩查等近50項(xiàng)任務(wù)中準(zhǔn)確率超過(guò)95%，這也是目前全球賦能臨床任務(wù)最廣的病理大模型。
病理大模型PathOrchestra可賦能百余項(xiàng)臨床任務(wù)
在訓(xùn)練過(guò)程中，研發(fā)團(tuán)隊(duì)還針對(duì)性地增加了食管癌、乳腺癌等中國(guó)發(fā)病率較高的癌癥數(shù)據(jù)，使模型能力更符合我國(guó)臨床實(shí)際需求。王哲表示：“PathOrchestra是一首由視覺(jué)模型、大語(yǔ)言模型以及多模態(tài)數(shù)據(jù)共同奏響的協(xié)奏曲，希望這首協(xié)奏曲能夠奏出美好的曲調(diào)，為中國(guó)乃至世界的廣大患者的病理診斷做出更好的服務(wù)。”
王哲在發(fā)布會(huì)現(xiàn)場(chǎng)做主題分享
為推動(dòng)大模型技術(shù)在病理診斷中的應(yīng)用，商湯醫(yī)療已打造大模型驅(qū)動(dòng)的數(shù)智化病理科整體解決方案，串聯(lián)切片數(shù)字化掃描、高性能閱片、AI智能輔助診斷、數(shù)據(jù)存儲(chǔ)等病理智慧化診斷全流程。
在病理大模型賦能下可支持百余種臨床輔助診斷任務(wù)，還可適配眾多品牌掃描儀及存儲(chǔ)設(shè)備，實(shí)現(xiàn)千人并發(fā)秒級(jí)無(wú)卡頓調(diào)閱，滿足多院區(qū)病理智能分析需求，開(kāi)啟大模型賦能下的病理診斷“新篇章”。
作為智慧醫(yī)療行業(yè)的先行者，商湯醫(yī)療將在這條充滿挑戰(zhàn)與機(jī)遇的道路上不懈努力，以創(chuàng)新驅(qū)動(dòng)發(fā)展，激活醫(yī)療新質(zhì)生產(chǎn)力，讓高質(zhì)量的醫(yī)療服務(wù)惠及每一個(gè)角落，踐行科技惠民的企業(yè)擔(dān)當(dāng)。
（來(lái)源：商湯科技）
