可解釋AI為什么是下一次關(guān)鍵浪潮?

　　隨著以機(jī)器學(xué)習(xí)為代表的新一代人工智能技術(shù)不斷朝著更加先進(jìn)、復(fù)雜、自主的方向發(fā)展，我們的經(jīng)濟(jì)和社會(huì)發(fā)展都紛紛迎來(lái)了變革性的機(jī)遇。

　　但與此同時(shí)，AI算法的透明度、可解釋性問(wèn)題也為公眾信任、公共安全等諸多領(lǐng)域帶來(lái)了前所未有的挑戰(zhàn)。

　　1月11日-14日，由騰訊研究院和騰訊可持續(xù)社會(huì)價(jià)值事業(yè)部(SSV)聯(lián)合主辦的“騰訊科技向善創(chuàng)新周”在線上舉辦?！巴该骺山忉孉I——打開(kāi)黑箱的理念與實(shí)踐”作為本屆創(chuàng)新周的第一個(gè)專題論壇，聚焦討論人工智能的可解釋性與透明度問(wèn)題。

　　本場(chǎng)論壇由騰訊集團(tuán)副總裁、騰訊研究院總顧問(wèn)楊健主持。會(huì)上，騰訊研究院秘書(shū)長(zhǎng)張欽坤、優(yōu)圖實(shí)驗(yàn)室人臉識(shí)別技術(shù)負(fù)責(zé)人丁守鴻首先共同發(fā)布了《可解釋AI發(fā)展報(bào)告2022》，隨后由加拿大皇家科學(xué)院&加拿大工程院兩院院士楊強(qiáng)老師、南方科技大學(xué)計(jì)算機(jī)科學(xué)與工程系系主任姚新老師、廈門大學(xué)人文學(xué)院朱菁院長(zhǎng)、騰訊AI Lab顧問(wèn)吳保元老師、京東探索研究院算法科學(xué)家何鳳翔老師、天衍實(shí)驗(yàn)室負(fù)責(zé)人鄭冶楓老師，共同參與了關(guān)于可解釋AI的圓桌討論。

　　以下為圓桌研討環(huán)節(jié)的整理文章：

　　可解釋AI的概念共識(shí)

　　姚新：

　　大家在討論AI算法的透明性和可解釋性的時(shí)候，首先應(yīng)該考慮三個(gè)W的問(wèn)題——Who，What和Why的問(wèn)題。

　　首先，到底是對(duì)誰(shuí)講透明和可解釋?因?yàn)閺目茖W(xué)研究來(lái)說(shuō)，任何一個(gè)研究都必須透明，都必須可解釋，否則這個(gè)論文是發(fā)不出來(lái)的。所以我猜過(guò)去講透明性和可解釋性，可能不是對(duì)科學(xué)家來(lái)說(shuō)的可解釋性或者透明性，因?yàn)閷?duì)科學(xué)家的透明性和可解釋性，不一定對(duì)大眾透明和可解釋。第二是解釋什么?解釋模型做出來(lái)的結(jié)果還是解釋這個(gè)模型的工作原理。第三，解釋總是有一個(gè)目的，目的是要追責(zé)還是理解這個(gè)模型的科學(xué)原理。

　　根據(jù)對(duì)這三個(gè)W不同的答案，會(huì)得出非常不一樣的透明性和可解釋性，相應(yīng)的解決辦法可能也完全不一樣。不管怎樣，考慮透明性和可解釋性的時(shí)候，首先大家要有一個(gè)概念上的共識(shí)，使得我們知道我們是講同樣一件事情，而不是用了同樣一個(gè)名詞，大家在不同的抽象層次講不同的問(wèn)題。

　　吳保元：

　　可解釋是可信AI的重要組成部分，是可信的前提條件之一，但是相比于魯棒性、公平性等可信特性，我覺(jué)得可解釋不是獨(dú)立存在的概念。就是姚老師剛才提到的，我們到底在解釋什么?其他的特性都是有自己明確的數(shù)學(xué)定義，比如魯棒性、公平性等，但是可解釋性是沒(méi)有的，因?yàn)槲覀儐为?dú)提到它的時(shí)候，背后默認(rèn)的更可能是對(duì)模型準(zhǔn)確度的可解釋性?；蛟S這也可以解釋為什么當(dāng)前的可解釋研究思路這么多，但是好像沒(méi)有一個(gè)明確的框架，我覺(jué)得最主要的原因是它的解釋對(duì)象不一樣，沒(méi)有辦法統(tǒng)一到一起。

　　基于這種理解，我個(gè)人有一點(diǎn)小的想法，不應(yīng)該把它稱為可解釋性，把它稱為可解釋力或許更準(zhǔn)確。可解釋性，大家可能誤認(rèn)為它是一種獨(dú)立存在的性質(zhì);可解釋力是一種可解釋的能力，就像我們說(shuō)的理解力、領(lǐng)導(dǎo)力等等，它是一種手段，一種行為，一種操作存在，需要跟別的綁在一起。我覺(jué)得以后提到它的時(shí)候，應(yīng)該準(zhǔn)確地描述它是針對(duì)什么特性的可解釋力，而不是籠統(tǒng)地說(shuō)可解釋性如何。

　　可解釋AI的價(jià)值何在?

　　朱菁：

　　人們對(duì)于人工智能系統(tǒng)可解釋性、透明性的要求，大致有四個(gè)層次：

　　第一個(gè)針對(duì)的是直接用戶，用戶需要了解人工智能產(chǎn)品、服務(wù)背后的原理是什么，這是建立可信任AI的重要基礎(chǔ)?？山忉孉I，實(shí)際上支撐了可信任AI。

　　第二個(gè)層次，對(duì)于政策和監(jiān)管部門，他們希望通過(guò)解釋原理來(lái)了解人工智能產(chǎn)品的公平性、可問(wèn)責(zé)性，歸因的過(guò)程是我們進(jìn)一步問(wèn)責(zé)、追究責(zé)任的基礎(chǔ)。所以，可解釋AI也與負(fù)責(zé)任的AI、可問(wèn)責(zé)的AI是聯(lián)系在一起的。

　　第三個(gè)層次就是技術(shù)工程與科學(xué)層次，我們希望了解為什么某些算法能夠成功，它成功背后的奧秘是什么，它的應(yīng)用范圍是什么，它能否在更大的范圍內(nèi)使用這樣一些算法或者是一些技術(shù)。

　　第四個(gè)是公眾理解AI，如果社會(huì)大眾大多數(shù)關(guān)心的話，他也能夠在這方面了解相應(yīng)的技術(shù)、系統(tǒng)大體的工作原理方式是什么。

　　何鳳翔：

　　在現(xiàn)在的AI系統(tǒng)中，其實(shí)很多算法背后運(yùn)作機(jī)制是未知的，是不清楚的，這種未知帶來(lái)了未知的、難以管理的風(fēng)險(xiǎn)，包括安全性、魯棒性、隱私保護(hù)、公平性等等。

　　這些點(diǎn)關(guān)系到了社會(huì)運(yùn)轉(zhuǎn)中非常關(guān)鍵、人命關(guān)天的領(lǐng)域，比如醫(yī)療、自動(dòng)駕駛。這會(huì)帶來(lái)很大的應(yīng)用方面的困難，以及社會(huì)對(duì)AI的不信任。因?yàn)楫?dāng)AI算法運(yùn)作機(jī)制是未知的時(shí)候，它的風(fēng)險(xiǎn)機(jī)制、風(fēng)險(xiǎn)大小、風(fēng)險(xiǎn)尺度就是未知的，我們就難以去管理風(fēng)險(xiǎn)，進(jìn)而去控制風(fēng)險(xiǎn)。

　　可解釋AI的挑戰(zhàn)何在?

　　姚新：

　　原來(lái)我一個(gè)學(xué)生跟我做了一點(diǎn)關(guān)于公平性的工作，跟其他的文獻(xiàn)發(fā)現(xiàn)的點(diǎn)非常一致，就是說(shuō)模型的準(zhǔn)確性和公平性之間是相互矛盾的。性能最好的模型從公平性的角度來(lái)說(shuō)，按指標(biāo)來(lái)測(cè)量不見(jiàn)得最好，你要把模型做得都是最公平，用指標(biāo)來(lái)衡量的話，它的性能就會(huì)受到損失。實(shí)際上可解釋性非常類似現(xiàn)在有各版的可解釋性指標(biāo)，但是要真正考慮這些指標(biāo)的話，模型的性能總是會(huì)掉下來(lái)，要考慮在實(shí)際過(guò)程中怎么來(lái)找一個(gè)折中的方案。

　　吳保元：

　　針對(duì)可解釋性本身的不可行、不可取，這也是值得我們思考的問(wèn)題。比如說(shuō)我們?cè)谘芯糠缸锫驶蛘哒f(shuō)疾病的傳播率、發(fā)病率等，如果我們就拿現(xiàn)成的統(tǒng)計(jì)數(shù)據(jù)，比如在不同種族、不同地域采集的數(shù)據(jù)，很有可能會(huì)得出來(lái)某些種族或者某些地域犯罪率很高，這是因?yàn)閿?shù)據(jù)采集的時(shí)候就是這樣的。這樣一來(lái)，如果可解釋給出的類似結(jié)論被公開(kāi)，可能會(huì)造成種族或者地域歧視。但實(shí)際上數(shù)據(jù)背后是我們?cè)诓杉臅r(shí)候沒(méi)有采集其他特性，比如說(shuō)為什么這個(gè)地域的傳播率很高呢?很有可能是政府投入不足，或者說(shuō)其他的因素。

　　所以這也啟發(fā)我們可解釋性本身它的可信性是什么，它的準(zhǔn)確性，它的公平性，它是否忽略了某些特征，或者夸大了某些特征，它的魯棒性，是不是把樣本變化一點(diǎn)，它的可解釋性截然相反，這些需要我們進(jìn)一步思考。

　　另外，我跟很多研究可解釋的專家聊過(guò)，他們的困惑在于現(xiàn)在的可解釋性方法是不可印證的，甚至是矛盾的，這就引出了可解釋性方法本身的可信度的問(wèn)題。

　　何鳳翔：

　　在我看來(lái)，理解深度學(xué)習(xí)算法的運(yùn)作機(jī)制，大致有理論和實(shí)踐兩條路徑。在理論方面，當(dāng)前的研究無(wú)法完全解釋理論上泛化性較差的深度模型為何能在多領(lǐng)域取得如此的成功。這種理論與實(shí)踐的矛盾，就像曾經(jīng)物理學(xué)中的烏云一樣，反映出來(lái)了人們對(duì)于機(jī)器學(xué)習(xí)理解的缺失，而這是現(xiàn)在在理論上提升算法可解釋性的一個(gè)難點(diǎn)。

　　而在實(shí)驗(yàn)角度上，很多實(shí)驗(yàn)學(xué)科中的做法可以作為對(duì)于機(jī)器學(xué)習(xí)研究的啟發(fā)，比如說(shuō)物理學(xué)、化學(xué)，以及剛才提到的醫(yī)療。比如說(shuō)藥物研發(fā)流程中的合格檢驗(yàn)，要做雙盲實(shí)驗(yàn);在物理學(xué)、化學(xué)的研究中，對(duì)控制變量實(shí)驗(yàn)有嚴(yán)格要求。類似的機(jī)制是否能在AI研究中嚴(yán)格執(zhí)行呢?我覺(jué)得這可能是另外一條路徑。在我看來(lái)，現(xiàn)有的很多對(duì)于AI算法的解釋是啟發(fā)式的，而在關(guān)鍵領(lǐng)域中我們需要的是證據(jù)，這需要在理論和實(shí)驗(yàn)兩方面做很多工作。

　　可解釋AI如何實(shí)現(xiàn)?

　　朱菁：

　　前面很多專家都指出對(duì)于解釋有不同的目標(biāo)，不同的對(duì)象，不同的要求，所以實(shí)際上關(guān)于人工智能的可解釋性問(wèn)題可能是屬于多元性的，就是要允許有多種不同層次不同方式的解釋在這里面起作用，針對(duì)不同的領(lǐng)域、不同的對(duì)象，使用不同解釋的方式。

　　當(dāng)可解釋性有它的局限或者和其他的目標(biāo)、要求，需要做出權(quán)衡取舍的時(shí)候，我們想也可以從多個(gè)層面來(lái)進(jìn)行替代性的，或者說(shuō)是補(bǔ)償性、補(bǔ)充性的策略。比方說(shuō)針對(duì)監(jiān)管部門，它對(duì)于可解釋性的要求，和面向公眾或者專家層面的，會(huì)有所不同，所以這個(gè)可以通過(guò)若干個(gè)層次，比如說(shuō)監(jiān)管部門的，行業(yè)的，市場(chǎng)的，以及傳播普及層面的，對(duì)于安全性、魯棒性要求更高一些，或者在專家層面上有更好的溝通理解，而對(duì)于社會(huì)公眾而言，這里面就需要有一些轉(zhuǎn)換，同時(shí)有需要一些權(quán)威部門，有公信力的部門，向社會(huì)做一些說(shuō)明和認(rèn)定。

　　姚新：

　　深度神經(jīng)網(wǎng)絡(luò)可以解決特別復(fù)雜的問(wèn)題，我覺(jué)得現(xiàn)在大家用深度網(wǎng)絡(luò)有一個(gè)原因，即所針對(duì)的問(wèn)題本身可能就比較復(fù)雜。這是一個(gè)假設(shè)。假如這個(gè)假設(shè)是對(duì)的話，那么相應(yīng)的可解釋性不會(huì)特別好理解。因?yàn)樾枰獙?duì)付這些復(fù)雜性，相應(yīng)的模型就必然是要復(fù)雜。

　　所以我總覺(jué)得透明性、可解釋性和性能之間是有一個(gè)固有的矛盾，如果現(xiàn)在把從技術(shù)上討論的方向，是怎么找一個(gè)折中方案，根據(jù)不同的場(chǎng)景、可解釋的目的，找不同折中方案，這樣導(dǎo)致有可能會(huì)出來(lái)一些比較具體的技術(shù)，或者可以促進(jìn)這些技術(shù)往落地的方向走。

　　吳保元：

　　我們嘗試過(guò)一些從技術(shù)上可行的方案去量化各種可信特性，但是，要實(shí)現(xiàn)統(tǒng)一量化很困難，比如說(shuō)公平性和魯棒性都有不同的量化準(zhǔn)則和指標(biāo)。當(dāng)把不同的特性簡(jiǎn)單組合到一起的時(shí)候很難優(yōu)化，因?yàn)樗鼈兊臏?zhǔn)則是高度不對(duì)齊的，差異非常大，這就涉及怎么去對(duì)齊這些特性坐標(biāo)。我認(rèn)為想要找到一個(gè)全局坐標(biāo)系是非常困難的。我們可以從局部出發(fā)，針對(duì)某種場(chǎng)景，比如醫(yī)療場(chǎng)景，首先把隱私性當(dāng)做前提，在金融或者自動(dòng)駕駛，我們把魯棒性當(dāng)做前提，然后再去研究其他特性，或許一步一步能夠找到這種坐標(biāo)系。

　　可解釋AI的技術(shù)現(xiàn)狀?

　　鄭冶楓：

　　總體來(lái)說(shuō)，因?yàn)槲覀儸F(xiàn)在還缺乏非常好的理論框架，所以可能針對(duì)問(wèn)題，我們創(chuàng)造性地想一些算法，試圖提高本身這個(gè)系統(tǒng)的可解釋性，給大家舉兩個(gè)例子來(lái)說(shuō)明一下我們天衍實(shí)驗(yàn)室在這方面的探索。

　　深度學(xué)習(xí)可能有千億、萬(wàn)億的參數(shù)，這對(duì)于醫(yī)生來(lái)說(shuō)太復(fù)雜了，他很難理解這個(gè)算法的底層原理，算法本身可能缺乏一個(gè)全局的可解釋性。但是深度學(xué)習(xí)框架準(zhǔn)確率非常高，所以我們不可能不用。而可解釋性非常好的模型就是回歸模型，這類模型主要的問(wèn)題就是準(zhǔn)確率太低。所以我們做了一個(gè)探索，我們希望把這兩個(gè)模型結(jié)合起來(lái)，它具有非常高的準(zhǔn)確率，還有一定的可解釋性，不是完全可解釋性。

　　我們把這個(gè)混合模型用于疾病風(fēng)險(xiǎn)預(yù)測(cè)，就是根據(jù)病人歷次的就診記錄，我們預(yù)測(cè)病人在未來(lái)6個(gè)月之內(nèi)得某個(gè)重大疾病的概率，比如他得卒中的概率。病人每一次的就診記錄包含大量信息，這里面我們需要提取一些跟預(yù)測(cè)目標(biāo)相關(guān)的重要信息，我們知道深度學(xué)習(xí)網(wǎng)絡(luò)最擅長(zhǎng)的就是自動(dòng)特征學(xué)習(xí)。所以我們利用深度學(xué)習(xí)網(wǎng)絡(luò)把一次就診記錄壓縮成一個(gè)特征的向量，接著我們利用回歸模型，把病人多次就診記錄綜合起來(lái)預(yù)測(cè)未來(lái)6個(gè)月之內(nèi)這個(gè)病人得腦卒中的風(fēng)險(xiǎn)。

　　這里我們用的是稀疏線性回歸模型，從病人幾十次、上百次過(guò)去歷年就診記錄里面，選取幾次與預(yù)測(cè)目標(biāo)最相關(guān)的就診，選擇這幾例就診，我們會(huì)給它相應(yīng)的權(quán)重。所以這種稀疏線性回歸模型的可解釋性非常好，因?yàn)樗魂P(guān)注很少的變量，普通人都能很好理解它，用哪幾次就診記錄，做信息加權(quán)，得出最后的風(fēng)險(xiǎn)估計(jì)。這是一個(gè)全局性的可解釋性，比深度學(xué)習(xí)好很多。

　　楊強(qiáng)：

　　我們?cè)趯徱暩鱾€(gè)算法和它對(duì)應(yīng)的可解釋性的關(guān)聯(lián)問(wèn)題上，發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象，比方說(shuō)在機(jī)器學(xué)習(xí)里面，深度學(xué)習(xí)就是屬于效率非常高的，但是它卻對(duì)應(yīng)的可解釋性很差。同樣，線性模型沒(méi)有那么高，但是它的可解釋性相對(duì)強(qiáng)一些，樹(shù)狀模型也是，因果模型更是這樣。所以往往我們確實(shí)得做一個(gè)取舍，就是我們?cè)诳山忉屵@個(gè)維度和高效率這個(gè)維度，在這個(gè)空間里面選擇哪一個(gè)點(diǎn)，現(xiàn)在并沒(méi)有在兩個(gè)維度都高的這樣一個(gè)算法。

　　可解釋AI的行業(yè)實(shí)踐

　　鄭冶楓：

　　各行業(yè)對(duì)可解釋性和透明性的要求不同，我結(jié)合醫(yī)療AI這個(gè)場(chǎng)景給大家分享一下我的體會(huì)和理解。大家知道醫(yī)療在全世界范圍內(nèi)都是被強(qiáng)監(jiān)管的領(lǐng)域，一款醫(yī)療產(chǎn)品要上市必須拿到醫(yī)療器械注冊(cè)證，輔助診斷算法AI產(chǎn)品屬于三類醫(yī)療醫(yī)療，也就是監(jiān)管最嚴(yán)格的級(jí)別，所以我們要披露的信息很多，大致包括數(shù)據(jù)集和臨床算法驗(yàn)證兩方面。前者主要強(qiáng)調(diào)數(shù)據(jù)集的公平多樣性和廣泛覆蓋性，后者則重視披露我們的算法真正在臨床試驗(yàn)中、真正臨床應(yīng)用的時(shí)候它的性能。

　　此外，我們的測(cè)試樣本也需要有很好的多樣性，覆蓋不同醫(yī)院，不同區(qū)域，不同病人群體、廠商、掃描參數(shù)等等。臨床實(shí)驗(yàn)更加嚴(yán)格，首先我們要固化算法的代碼，在臨床試驗(yàn)期間是不能改代碼的，因?yàn)槟悴荒芤贿呑鰧?shí)驗(yàn)一邊改代碼，這就失去了臨床試驗(yàn)的意義。

　　所以醫(yī)療AI的監(jiān)管是非常強(qiáng)的，藥監(jiān)局需要我們披露很多信息，提高醫(yī)療AI產(chǎn)品的透明性，它有非常嚴(yán)格甚至苛刻的書(shū)面要求。因?yàn)槲覀冎郎疃葘W(xué)習(xí)網(wǎng)絡(luò)天然不具有很好的解釋性，雖然你可以做一些中間增強(qiáng)，可以一定程度上改善這些事情，監(jiān)管也可以理解這個(gè)解釋性差一點(diǎn)，正因?yàn)榻忉屝圆?，要求的透明性就越高?/FONT>