人工智能的自動化決定可以為人們帶來便利，并已在日常生活的多個(gè)領(lǐng)域得到應(yīng)用，然而人們對于人工智能可靠性的疑慮始終未被打消。在智能投顧、智慧醫(yī)療、智能司法等領(lǐng)域，人工智能都曾不止一次被曝出缺陷，尤其在公正性方面,“人工智能是否存在偏見和歧視”的問題一直是人們討論的焦點(diǎn)。
在深度學(xué)習(xí)中，從輸入的數(shù)據(jù)到輸出的答案之間的過程并不能被人觀察，這一問題被稱為“黑箱”。哥倫比亞大學(xué)的機(jī)器人學(xué)家Hod Lipson把這一困境形象地描述為“這就像是向一條狗解釋莎士比亞是誰”。
我們應(yīng)如何看待AI作出的決定?本文將討論人工智能偏見、可解釋AI及人們在解決上述問題時(shí)遇到的難點(diǎn)。
?
1970年，愛德華·肖特利夫(Edward H. Shortliffe)在斯坦福大學(xué)的實(shí)驗(yàn)室里開始著手編寫一個(gè)Lisp程序。這個(gè)名為MYCIN的系統(tǒng)通過一系列的是非問題幫助醫(yī)生判斷病人是否患有遺傳性血液疾病，并根據(jù)病人體重建議抗生素用量。作為歷史上最早的專家系統(tǒng)之一，MYCIN的正確率僅為65%，相較血液科醫(yī)師80%的正確率相去甚遠(yuǎn)，而且由于程序過于龐大，最終也沒有投入使用。
2019年，150名受試者來到UCLA的VCLA中心，觀看Baxter機(jī)器人打開附有安全鎖的藥瓶。隨后，Baxter向其中一些受試者解釋了自己是如何打開藥瓶的，剩下的人沒有得到任何解釋。最后，實(shí)驗(yàn)者向所有人提問：你在多大程度上相信這個(gè)機(jī)器人會開藥瓶?
在過去的半個(gè)世紀(jì)里，機(jī)器的計(jì)算與儲存能力突飛猛進(jìn)，我們可以輕松地在計(jì)算機(jī)上運(yùn)行像MYCIN一樣相對簡單的系統(tǒng)，甚至可以訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)(Support Vector Machine)等更加復(fù)雜的模型達(dá)到接近專業(yè)醫(yī)生的診斷水平，或是讓機(jī)器人完成相對復(fù)雜的精細(xì)動作。
但是，AI系統(tǒng)的性能提升也帶來了新的問題：如果這些系統(tǒng)進(jìn)入我們的生活，你會信任它們作出的決定嗎?
為何要解釋AI?
AI如日中天，我們?yōu)槭裁匆Ｏ聛硭伎荚趺唇忉屗?
2016年5月，ProPublica發(fā)布了一篇名為《機(jī)器偏見》的調(diào)查報(bào)告，聚焦一個(gè)名為COMPAS的AI系統(tǒng)。COMPAS被廣泛應(yīng)用于美國司法量刑。它基于已有的犯罪記錄，嘗試預(yù)測被告被再次逮捕的概率，得出一個(gè)1到10分之間的分?jǐn)?shù)——分?jǐn)?shù)越高，它建議的量刑越重，以期更有效地懲治潛在的再犯。
ProPublica分析了18000多人的COMPAS分?jǐn)?shù)和犯罪記錄，發(fā)現(xiàn)黑人與白人的分?jǐn)?shù)分布明顯不同——在犯罪歷史、再逮捕記錄、年齡、性別都相同的條件下，黑人被告得到更高COMPAS分?jǐn)?shù)的概率高于白人被告45%。另外，有48%在兩年內(nèi)被再次逮捕的白人被告的COMPAS分?jǐn)?shù)被低估，幾乎是黑人被告的兩倍。因?yàn)閿?shù)據(jù)來自具有結(jié)構(gòu)性不公的環(huán)境(既有司法系統(tǒng)傾向于區(qū)別對待不同人種)，COMPAS的(草率)決定也受此影響。然而，由于COMPAS是一個(gè)黑箱系統(tǒng)，法官只能看到分?jǐn)?shù)，對內(nèi)部的決策機(jī)制一無所知，導(dǎo)致他們無法有效評估系統(tǒng)的建議。另一篇調(diào)查報(bào)告更是指出，COMPAS的準(zhǔn)確率相當(dāng)于幾乎沒有刑事司法專業(yè)知識的人。
無獨(dú)有偶，2015年，有用戶發(fā)現(xiàn)谷歌的圖像識別系統(tǒng)將自己的黑人朋友標(biāo)記為“大猩猩”，在推特上引起軒然大波。直到2018年，谷歌仍然沒有完全修復(fù)這一漏洞，只是將靈長類的標(biāo)簽從系統(tǒng)中移除，并稱“圖像識別技術(shù)還不成熟”。同樣是2015年，紐約西奈山醫(yī)院用70萬病人的數(shù)據(jù)訓(xùn)練了一個(gè)名為“深度病人”的深度神經(jīng)網(wǎng)絡(luò)，用以輔助醫(yī)療診斷。“深度病人”對精神分裂癥的預(yù)測出乎意料地準(zhǔn)確，但沒有醫(yī)生知道為什么，自然也無法應(yīng)用于自己的臨床診斷;當(dāng)它被用于分析醫(yī)院以外的X光片時(shí)，系統(tǒng)正確率莫名出現(xiàn)了大幅下降。
“數(shù)據(jù)不會說謊?！钡@絕不意味著我們不需要仔細(xì)審視它們，或是給予基于數(shù)據(jù)之上的AI系統(tǒng)無條件的信任。肖特利夫的MYCIN系統(tǒng)本質(zhì)上是一個(gè)決策樹，屬于“透明”的模型——我們可以畫出從數(shù)據(jù)輸入開始完整的決策過程，從而評估MYCIN的決定。深度神經(jīng)網(wǎng)絡(luò)的性能遠(yuǎn)遠(yuǎn)優(yōu)于決策樹，但它是一個(gè)“黑箱”——我們幾乎不可能確切地知道它在算什么。性能與可解釋性似乎此消彼長。
對一位只追求正確率和性能的算法工程師來說，黑箱AI未必不受待見：一個(gè)能夠準(zhǔn)確預(yù)測95%的事件的黑箱系統(tǒng)，肯定比另一個(gè)正確率只有65%、更透明的系統(tǒng)好?？墒?，當(dāng)工程師需要調(diào)整系統(tǒng)內(nèi)部“零件”的時(shí)候(比如修復(fù)谷歌圖像識別系統(tǒng))，黑箱會讓這項(xiàng)任務(wù)無比艱難：到底是哪一步出錯(cuò)了?是用于訓(xùn)練的數(shù)據(jù)有問題，還是模型本身的性能不足，或是損失函數(shù)(loss function)有待改進(jìn)?置身黑箱之外的工程師很難一針見血地指出病灶。
我們中的大多數(shù)人也許極少有機(jī)會成為工程師、法官、醫(yī)生，但這不妨礙黑箱AI對我們的生活造成影響。與我們的一廂情愿相反，不夠透明的AI系統(tǒng)非但沒有比人類更客觀、公正、精確，反而加深了既存的偏見和不公正，對數(shù)字民主和基本人權(quán)構(gòu)成威脅，而對這些系統(tǒng)的控制、介入和審計(jì)也更為困難。當(dāng)我們無法解讀AI作出的決策，對它未來的預(yù)期不過是紙上談兵，信任也無從談起。
可解釋AI(Explainable AI，即XAI)想要解決的正是這類問題。XAI認(rèn)為，通過解釋AI系統(tǒng)的決策過程，人類能夠更好地理解它的機(jī)制、優(yōu)缺點(diǎn)、潛在影響等特性，從而更有效地預(yù)測系統(tǒng)的行為，達(dá)到逐步建立信任關(guān)系的效果。如果AI革命不可避免，至少一個(gè)可被解釋的系統(tǒng)能夠更好地融入嶄新的算法社會契約——例如伊亞德·拉萬(Iyad Rahwan)提出的社會回環(huán)(Society-in-the-loop)——與人類共生存，而不必成為敵對的關(guān)系。
我需要一個(gè)解釋
可解釋AI終究是為人服務(wù)的(好比高階編程語言是為了人類設(shè)計(jì)的，否則機(jī)器之間的“交流”大可以用機(jī)器編碼之類人類無法輕易讀寫的“語言”)。所以“解釋性”也是相對人而言的。關(guān)于黑箱AI系統(tǒng)，什么樣的解釋才是好的解釋?心理學(xué)家和哲學(xué)家早就開始分頭研究，但各執(zhí)一詞。
解釋常常需要闡述特定的因果關(guān)系或因果模式，例如“我不吃杏仁，因?yàn)槲覍?jiān)果過敏”。這樣的解釋非常貼切(沒有轉(zhuǎn)移話題)，直接明了(不存在循環(huán)論證)，邏輯嚴(yán)密。有的現(xiàn)象卻很難用通俗的因果關(guān)系解釋——請?jiān)囍卮?，“我擲了一次骰子，為什么朝上的一面是3?”當(dāng)然，你可以引用物理法則來解釋擲骰子的具體過程，但我可能一頭霧水。為了避免這樣的尷尬，你也許會提及相關(guān)的(非因果的)概念，比如“隨機(jī)性”，或是用類比等手法讓你的解釋更容易被聽眾接受(比如上一段的第一句話)。一般而言，因果關(guān)系在解釋中占據(jù)不可動搖的地位，但不是唯一的手段。
- Zoe? van Dijk -
既然解釋本身可以有各種形式，為了篩選出最好的可解釋AI，我們?yōu)槭裁床恢苯訂枺耗憷斫膺@個(gè)系統(tǒng)在做什么嗎?相關(guān)的心理學(xué)研究也的確使用了類似的方法來推斷人們是否能夠通過描述性解釋理解某一概念。它們發(fā)現(xiàn)，客觀上，當(dāng)受試者對某一概念有更好的理解時(shí)，他們能通過主觀的直覺感覺到自己的認(rèn)知進(jìn)步，好比“茅塞頓開”。
然而，耶魯大學(xué)的列昂尼德·羅森布里特(Leonid Rozenblit)和弗蘭克·凱爾(Frank Keil)提出的“解釋深度的錯(cuò)覺”(Illusion of Explanatory Depth)仿佛當(dāng)頭一棒。羅森布里特和凱爾讓受試者首先評價(jià)自己對某一工具(比如拉鏈)的理解，然后詳細(xì)地解釋這個(gè)工具的工作機(jī)制，并再次評價(jià)自己的對它的理解。他們發(fā)現(xiàn)，相比一開始，試圖解釋后的受試者對自己理解的評價(jià)明顯下滑，仿佛突然意識到自己其實(shí)一知半解。這就是“解釋深度的錯(cuò)覺”。這種錯(cuò)覺影響著所有人(包括小孩子)，并且只作用于解釋性的知識。完全相反的情況也不少見：人們會自稱不理解一個(gè)動力系統(tǒng)，卻能熟練地使用它。
另一方面，規(guī)范(normative)解釋在哲學(xué)(尤其是科學(xué)哲學(xué))中發(fā)揚(yáng)光大。規(guī)范解釋有意忽略個(gè)人因素，比如認(rèn)知能力，而是關(guān)注“應(yīng)有”的理解。因此，規(guī)范理解可以被視為一種基準(zhǔn)，用來分析哪些信息應(yīng)當(dāng)被包含在解釋里，以及受眾會有何種程度的理解。更進(jìn)一步地說，好的(規(guī)范)解釋應(yīng)當(dāng)從理解的目的出發(fā)，基于受眾與黑箱AI的關(guān)系給出不同的解釋。顯然，修補(bǔ)系統(tǒng)漏洞的工程師和審核系統(tǒng)公正性的法官所需的理解是不同的。我們可以合理假設(shè)前者具有足夠的技術(shù)知識背景，也許將計(jì)算模型可視化就提供了足夠好的解釋。后者需要的是更抽象的文字解釋，比如“其他條件不變，COMPAS系統(tǒng)預(yù)測黑人被告和白人被告被再次逮捕的概率不同?！眱煞N都是好的(規(guī)范)解釋，一旦互換卻可能成為各自的雞肋。
規(guī)范解釋看似更加直截了當(dāng)，但在實(shí)際應(yīng)用中還沒有確切實(shí)現(xiàn)或評估的共識。描述性解釋似乎也不甚完美。時(shí)至今日，我們?nèi)晕凑厦枋鲂越忉尯鸵?guī)范解釋，關(guān)于解釋的研究和可解釋AI還在齊頭并進(jìn)。
有了可解釋的AI就萬事大吉嗎?
2017年開始，美國國防高級研究計(jì)劃署(DARPA)投資了一系列XAI的項(xiàng)目，包括UCLA的VCLA中心的研究項(xiàng)目。2018年，ACM主辦了第一屆FAT*會議，關(guān)注AI系統(tǒng)的公正性、問責(zé)制和透明度。同年，AAAI與ACM共同舉辦第一屆AIES(人工智能、倫理與社會)會議。谷歌、微軟等科技公司也陸續(xù)參與XAI的研發(fā)。各界對于XAI的關(guān)注促成了許多“拆穿”黑箱AI的嘗試，從DeepMind提出的機(jī)器心智理論(Machine Theory of Mind)，到將黑箱神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為“透明”的布爾電路(Boolean circuit)，再到LIME(Local Interpretable Model-Agnostic Explanation)等通過近似黑箱模型提取重要特征的方法。雖然XAI目前解釋的對象主要是工程師等研發(fā)人員，但是在未來，我們將會看到更多面向大眾的XAI，比如向你解釋如何開藥瓶的Baxter。
XAI并不是終點(diǎn);它最多算一個(gè)起點(diǎn)，而我們還有許多亟待解決的問題。首先，對黑箱AI的解釋可以被悄無聲息地篡改，可以完全牛頭不對馬嘴，而且很難察覺。哈佛大學(xué)的?，斮e度·拉卡拉朱(Himabindu Lakkaraju)和她的學(xué)生們發(fā)現(xiàn)，只需在模型上動一些簡單的手腳，就能讓它濫用COMPAS數(shù)據(jù)集里的種族信息決定量刑，但一旦LIME來“視察”，它立刻擺出無辜的嘴臉，完全不露餡。這就意味著，即使有XAI為工具，我們對AI的信任也不應(yīng)當(dāng)盲目地依賴系統(tǒng)的可靠性和(表面上)信息的透明性，理智與批判性思考將格外重要。
其次，針對AI的條例的制定相對滯后于研發(fā)和應(yīng)用。XAI的出現(xiàn)將會讓這個(gè)問題更加復(fù)雜——由于黑箱AI難以捉摸，且只有少數(shù)人具備解讀/修改的能力，研發(fā)機(jī)構(gòu)不必過分擔(dān)心自己的科研成果泄漏(除非算法模型被一鍋端)。如果面向用戶和公眾的解釋成為需求、甚至必須，既有的AI系統(tǒng)——無論透明與否——都有可能面臨一系列的風(fēng)險(xiǎn)，包括知識產(chǎn)權(quán)(利用反向工程重建系統(tǒng))和系統(tǒng)安全(惡意的對抗攻擊)。信任與保密兩者的張力之下，XAI應(yīng)當(dāng)提供的解釋的具體內(nèi)容尚無定論。
再者，偏見和不公不會因?yàn)榻忉尡旧矶?恰恰相反，解釋會暴露更多一直以來潛行在我們周圍的倫理問題。ProPublica對COMPAS的調(diào)查使人不禁發(fā)出疑問：系統(tǒng)性的種族偏見究竟在何種程度上滲透了美國過去十年間的量刑?隨著XAI的進(jìn)步，一個(gè)個(gè)黑箱AI的廬山真面目逐漸顯露在我們眼前，不難想象其中有像COMPAS一樣的“幫兇”。我們能否通過公開討論解決結(jié)構(gòu)性問題、完善問責(zé)制，這將是對AI和人類社會共同的挑戰(zhàn)。
參考文獻(xiàn)
Choi, A., Shi, W., Shih, A., & Darwiche, A. (2019). Compiling Neural Networks into Tractable Boolean Circuits. AAAI Spring Symposium on Verification of Neural Networks (VNN), Stanford, CA.
Defense Advanced Research Projects Agency. (n.d.). Explainable Artificial Intelligence (XAI). Retrieved from https://www.darpa.mil/program/explainable-artificial-intelligence
Edmonds, M., Gao, F., Liu, H., Xie, X., Qi, S., Rothrock, B., Zhu, Y., Wu, Y. N, Hongjing, L., & Zhu, S. (2019). A tale of two explanations: Enhancing human trust by explaining robot behavior. Science Robotics, 4(37). https://doi.org/10.1126/scirobotics.aay4663
Keil, F. (2006). Explanation and understanding. Annual Review of Psychology, 57.
Larson, J., Angwin, J., Kirchner, L., & Mattu, S. (2019, March 9). How We Analyzed the COMPAS Recidivism Algorithm. Retrieved from https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
Miotto, R., Li, L., Kidd, B. A., & Dudley J. T. (2016). Deep Patient: An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records. Nature Scientific Reports, 6(1), 26094.
Rabinowitz, N.C., Perbet, F., Song, H.F., Zhang, C., Eslami, S.M., & Botvinick, M.M. (2018). Machine Theory of Mind. ArXiv, abs/1802.07740.
Rahwan, I. (2018). Society-in-the-loop: programming the algorithmic social contract. Ethics and Information Technology, 20(1), 5–14. https://doi.org/10.1007/s10676-017-9430-8
Rozenblit, L., & Keil, F. (2002). The misunderstood limits of folk science: an illusion of explanatory depth. Cognitive Science, 26(5), 521–562. https://doi.org/10.1207/s15516709cog2605_1
Slack, D., Hilgard, S., Jia, E., Singh, S., & Lakkaraju, H. (2020, Feb 3). Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods [Paper presentation]. AAAI/ACM Conference on AI, Ethics, and Society 2020, New York, NY. https://doi.org/10.1145/3375627.3375830
Yu, V. L., Fagan, L. M., Wraith, S. M., Clancey, W. J., Scott, A. C., Hannigan, J., Blum, R. L., Buchanan, B. G., & Cohen, S. N. Antimicrobial Selection by a Computer: A Blinded Evaluation by Infectious Diseases Experts (1979). JAMA, 242(12), 1279–1282. http://doi.org/10.1001/jama.1979.03300120033020
Yong, E. (2018, January 29). A Popular Algorithm Is No Better at Predicting Crimes Than Random People. Retrieved from https://www.theatlantic.com/technology/archive/2018/01/equivant-compas-algorithm/550646/
小結(jié)：
要邁向公平人工智能，首先必須承認(rèn)存在的問題，才能著手解決問題。近年間，已有越來越多的學(xué)者、企業(yè)和機(jī)構(gòu)意識到人工智能因缺失人類信任造成的問題。盡管作為一項(xiàng)發(fā)展中的議題，人們還未就解決問題的方式達(dá)成一致意見，但可解釋AI的發(fā)展正使“黑箱”變得越來越透明，這也使人工智能在提升效率之外，也兼顧了數(shù)據(jù)公正。
文章來源于微信公眾號“神經(jīng)現(xiàn)實(shí)” ，作者amecolli
（轉(zhuǎn)載）
