在1990年代那個(gè)漫長而寒冷的AI寒冬期，大多數(shù)人認(rèn)為神經(jīng)網(wǎng)絡(luò)是一條研究的死胡同，Yoshua Bengio等研究者卻仍堅(jiān)持不懈地進(jìn)行著該領(lǐng)域的研究。
最終他們的努力開花結(jié)果。由于對深度學(xué)習(xí)做出的巨大貢獻(xiàn)，他與Yann Lecun和Geofrey Hinton等人在今年3月獲得了圖靈獎(jiǎng)。
如今，AI界關(guān)于深度學(xué)習(xí)缺點(diǎn)的討論再度掀起浪潮。由于對深度學(xué)習(xí)發(fā)展有不同理解，紐約大學(xué)教授Gary Marcus質(zhì)疑Bengio在深度學(xué)習(xí)上的立場，前一段時(shí)間和后者進(jìn)行了一場隔空“互懟”。
Marcus稱他實(shí)際上贊成混合學(xué)習(xí)，但Bengio卻以為他(非常)反對深度學(xué)習(xí)，“深度學(xué)習(xí)是一種很好的工具，但只是眾多工具中的一種?！?/FONT>
而Bengio認(rèn)為需要被進(jìn)一步挖掘深度學(xué)習(xí)的潛力，他此前警示了可解釋因果關(guān)系對深度學(xué)習(xí)發(fā)展的重要性。在他看來，除非深度學(xué)習(xí)能夠超越模式識(shí)別并了解因果關(guān)系的更多信息，否則它將無法實(shí)現(xiàn)其全部潛力，也不會(huì)帶來真正的AI革命。換句話說，深度學(xué)習(xí)需要開始知道事情發(fā)生的因果關(guān)系，這將使現(xiàn)有的AI系統(tǒng)更加智能，更加高效。
今年年初，他與其他研究者合作發(fā)表了《通過元遷移目標(biāo)來學(xué)習(xí)理解因果關(guān)系》一文，提出了一種基于學(xué)習(xí)器適應(yīng)稀疏分布變化速度的元學(xué)習(xí)因果結(jié)構(gòu)，還生成了因果關(guān)系的綜合數(shù)據(jù)集。
近來德國學(xué)者Bernhard Sch?lkopf發(fā)布的一篇關(guān)于因果關(guān)系的綜述文章也引發(fā)了學(xué)界關(guān)注，作者闡述了一些將因果關(guān)系和機(jī)器學(xué)習(xí)結(jié)合的想法，并勾勒出一個(gè)更大的研究藍(lán)圖。
總之，業(yè)內(nèi)對深度學(xué)習(xí)百家爭鳴的討論，表明現(xiàn)在已到了開啟AI下一個(gè)研究進(jìn)程的時(shí)候。
當(dāng)?shù)貢r(shí)間12月11日，Bengio在NeurIPS 2019大會(huì)上發(fā)表了類似話題的演講，題目是《從系統(tǒng)1深度學(xué)習(xí)到系統(tǒng)2深度學(xué)習(xí)》。
Bengio 介紹，深度學(xué)習(xí)過去的進(jìn)展主要集中于從靜態(tài)數(shù)據(jù)集學(xué)習(xí)，主要用于感知任務(wù)和其他的系統(tǒng)1任務(wù)(人類直觀和無意識(shí)地完成的任務(wù))。但是，近年來，研究方向的轉(zhuǎn)變以及諸如軟注意力和深度強(qiáng)化學(xué)習(xí)的進(jìn)步等新工具為解決系統(tǒng)2任務(wù)(有意識(shí)地完成)的新型深度架構(gòu)和訓(xùn)練框架的開發(fā)打開了大門。例如自然語言處理和其他應(yīng)用中的推理、計(jì)劃、捕獲因果關(guān)系，并獲得系統(tǒng)性概括。
在他看來，深度學(xué)習(xí)從系統(tǒng)1任務(wù)到系統(tǒng)2任務(wù)的這種擴(kuò)展對舊的深度學(xué)習(xí)目標(biāo)實(shí)現(xiàn)發(fā)現(xiàn)高級(jí)抽象表示很重要，因?yàn)橄到y(tǒng)2的要求將對表示學(xué)習(xí)造成壓力，以發(fā)現(xiàn)人類用語言操縱的高級(jí)別抽象概念。
為了達(dá)到這個(gè)目標(biāo)，他們認(rèn)為軟注意機(jī)制是一個(gè)關(guān)鍵因素，它將計(jì)算一次集中在幾個(gè)概念上(“意識(shí)思維”)，因?yàn)橄闰?yàn)意識(shí)及其相關(guān)的假設(shè)是，許多高層次的依賴關(guān)系可以被一個(gè)稀疏因子圖近似地捕捉到。
他們還討論了深度學(xué)習(xí)中的 agent 視角如何有助于對學(xué)習(xí)的表示形式施加更多約束，以捕獲環(huán)境中的可供性(affordances)、因果變量和模型轉(zhuǎn)換。
此外，他們建議元學(xué)習(xí)、先驗(yàn)意識(shí)的模塊化方面以及表征學(xué)習(xí)的主體視角應(yīng)促進(jìn)以新穎的方式重用所學(xué)組件(即使在統(tǒng)計(jì)上不太可能，如反事實(shí))，從而實(shí)現(xiàn)更強(qiáng)大的組合泛化形式。
最后，Bengio 的報(bào)告給出了五點(diǎn)結(jié)論和問題：認(rèn)知神經(jīng)科學(xué)之后，機(jī)器學(xué)習(xí)去探索意識(shí)的時(shí)機(jī)已經(jīng)成熟;2、能否帶來新的先驗(yàn)來幫助系統(tǒng)地進(jìn)行良好的歸納?3、認(rèn)知神經(jīng)科學(xué)也會(huì)受益嗎?4、允許將深度學(xué)習(xí)從系統(tǒng)1擴(kuò)展到系統(tǒng)2嗎?5、假設(shè)：需要良好的系統(tǒng)1功能來使系統(tǒng)2有效
Bengio 在NeurIPS 2019的演講幻燈片：
https://drive.google.com/file/d/1zbe_N8TmAEvPiKXmn6yZlRkFehsAUS8Z/view
此外，IEEE Spectrum就類似的話題采訪了Bengio，他從深度學(xué)習(xí)的不足，腦啟發(fā)式計(jì)算，物理、語言和常識(shí)等方面做出了回應(yīng)。
深度學(xué)習(xí)及其不足
IEEE Spectrum：您如何看待所有有關(guān)深度學(xué)習(xí)局限性的討論?
Yoshua Bengio：太多面向公眾的場所不了解我們在AI和其他學(xué)科中研究的核心內(nèi)容：我們試圖了解當(dāng)前理論和方法的局限性，以擴(kuò)大智力工具的范圍。因此，深度學(xué)習(xí)研究人員希望找到不理想的地方，以便我們找出需要補(bǔ)充的內(nèi)容和需要探索的地方。 Gary Marcus等人注意到了這一點(diǎn)，發(fā)出了這樣的信息：“看起來，深度學(xué)習(xí)是行不通的。” 但實(shí)際上，像我這樣的研究人員正在做的事情是擴(kuò)大其范圍。當(dāng)我談?wù)撝T如需要AI系統(tǒng)理解因果關(guān)系之類的事情時(shí)，我并不是說這將取代深度學(xué)習(xí)。我正在嘗試向“工具箱”中添加新內(nèi)容。 作為科學(xué)家，對我而言重要的是解決這些問題需要探索的東西，不是誰對誰錯(cuò)了。
Spectrum：您如何評(píng)估深度學(xué)習(xí)的當(dāng)前狀態(tài)?
Bengio：在過去的二十年中，我們在這項(xiàng)工作上取得了很多進(jìn)展，但我認(rèn)為AI今天還沒有擁有接近兩歲孩子的智力水平。但是也許我們有等同于低等動(dòng)物的算法來進(jìn)行感知。而且，我們在允許實(shí)體探索其環(huán)境的工具方面正在逐步攀升。 當(dāng)今最重要的辯論之一是：高級(jí)認(rèn)知的要素是什么?因果關(guān)系是其中的一個(gè)要素，此外還有推理和計(jì)劃、想象力和功勞分配。在經(jīng)典AI中，他們試圖通過邏輯和符號(hào)來獲得這些東西。有人說我們可以通過經(jīng)典AI來做到這一點(diǎn)，也許可以通過改進(jìn)來實(shí)現(xiàn)。
還有像我這樣的人，認(rèn)為我們應(yīng)該采用過去幾年構(gòu)建的工具來創(chuàng)建這些功能，其方式類似于人類進(jìn)行推理的方式， 這實(shí)際上與基于搜索的純邏輯系統(tǒng)執(zhí)行操作的方式完全不同。
腦啟發(fā)式計(jì)算的曙光
Spectrum：我們?nèi)绾蝿?chuàng)建類似于人類推理的功能?
Bengio：注意力機(jī)制使我們能夠?qū)W習(xí)如何將計(jì)算重點(diǎn)放在幾個(gè)元素上。人類做到了這一點(diǎn)，這是有意識(shí)處理的一個(gè)特別重要的部分。當(dāng)你意識(shí)到某件事時(shí)，您將注意力集中在一些元素上，也許是某個(gè)想法，然后繼續(xù)想到另一個(gè)想法，這與標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)非常不同，后者是大規(guī)模并行處理。
由于這些注意力機(jī)制，我們在計(jì)算機(jī)視覺、翻譯和記憶方面取得了重大突破，但是我相信這只是另一種來自腦啟發(fā)式計(jì)算的開始。
這并不是說我們已經(jīng)解決了問題，但我認(rèn)為我們有很多入門工具。我并不是說這會(huì)很容易。我在2017年撰寫了一篇論文，題為《先驗(yàn)意識(shí)》，闡述了這一問題。我有幾個(gè)學(xué)生正在從事此工作，我知道這是一項(xiàng)長期工作。
Spectrum：您想在AI中復(fù)制人類智慧的其他哪些方面?
Bengio：我們還討論了神經(jīng)網(wǎng)絡(luò)想象的能力：推理、記憶和想象力是同一件事在你腦海中發(fā)生的三個(gè)部分。你將自己投射到過去或?qū)恚⑶野凑者@些預(yù)測進(jìn)行操作時(shí)，你正在進(jìn)行推理。如果你預(yù)計(jì)將來會(huì)發(fā)生不好的事情，那么會(huì)改變路線，這就是你進(jìn)行計(jì)劃的方式。而且你也正在使用記憶，因?yàn)槟銜?huì)回到已知的事物上來進(jìn)行判斷，可以從現(xiàn)在和過去中選擇相關(guān)的事物。
注意力(Attention)是這里的關(guān)鍵組成部分。假設(shè)我正在將一本書翻譯成另一種語言，對于每個(gè)單詞，我都必須仔細(xì)閱讀本書的一小部分。注意力使你可以抽象出許多不相關(guān)的細(xì)節(jié)，并集中精力處理重要的內(nèi)容。能挑選出相關(guān)要素，這就是注意力所做的。 Spectrum：這如何轉(zhuǎn)化到機(jī)器學(xué)習(xí)?
Bengio：你不必告訴神經(jīng)網(wǎng)絡(luò)要注意什么，這就是它的美。它可以自學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)應(yīng)該給予一組可能元素中的每個(gè)元素多少注意力或權(quán)重。
學(xué)會(huì)學(xué)習(xí)(learning to learn)
Spectrum：您最近的因果關(guān)系研究與這些想法有何關(guān)系?
Bengio：你用來推理的高層次概念往往是因果關(guān)系的變量。你并不會(huì)基于像素進(jìn)行推理，而是根據(jù)門或旋鈕或打開或關(guān)閉等概念進(jìn)行推理。因果關(guān)系對于機(jī)器學(xué)習(xí)的下一步發(fā)展非常重要。 它與深度學(xué)習(xí)中人們經(jīng)常想到的另一個(gè)主題有關(guān)。系統(tǒng)概括是人類必須概括我們所知道的概念的能力，因此它們可以通過新的方式進(jìn)行組合，這與我們所見過的其他任何方式都不一樣。當(dāng)今的機(jī)器學(xué)習(xí)不知道該怎么做。因此，你經(jīng)常會(huì)遇到與特定數(shù)據(jù)集訓(xùn)練有關(guān)的問題。假設(shè)你在一個(gè)國家/地區(qū)訓(xùn)練，然后在另一個(gè)國家/地區(qū)進(jìn)行部署。你需要概括和遷移學(xué)習(xí)。你如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)以便將其遷移到新環(huán)境中時(shí)，它可以繼續(xù)正常工作或快速適應(yīng)嗎?
Spectrum：這種適應(yīng)性的關(guān)鍵是什么?
Bengio： 元學(xué)習(xí)是當(dāng)今非常熱門的話題：學(xué)會(huì)學(xué)習(xí)。我在1991 年就此發(fā)表了一篇早期論文，但是直到最近我們才獲得實(shí)現(xiàn)這種事情的計(jì)算能力。它的計(jì)算量很大。這個(gè)想法是：為了泛化到新環(huán)境，你必須練習(xí)泛化到新環(huán)境。當(dāng)你考慮它時(shí)，它是如此簡單。孩子們一直都這樣做。當(dāng)他們從一個(gè)房間移動(dòng)到另一個(gè)房間時(shí)，環(huán)境不是一成不變的，它一直在變化。孩子們訓(xùn)練自己要善于適應(yīng)。為了有效地做到這一點(diǎn)，他們必須利用過去獲得的知識(shí)。我們開始了解此能力，并構(gòu)建能復(fù)制它的工具。
對深度學(xué)習(xí)的一種批評(píng)是，它需要大量的數(shù)據(jù)。如果你僅在一項(xiàng)任務(wù)上進(jìn)行訓(xùn)練，確實(shí)是這樣。但是孩子們有能力根據(jù)很少的數(shù)據(jù)學(xué)習(xí)，他們利用以前學(xué)到的東西。但更重要的是他們正在利用自己的適應(yīng)能力和泛化能力。
“還沒準(zhǔn)備要工業(yè)應(yīng)用”
Spectrum：這些想法中的任何一個(gè)會(huì)很快在現(xiàn)實(shí)世界中應(yīng)用嗎?
Bengio：不。這都是關(guān)于玩具問題(toy problems)的非?；A(chǔ)的研究。那就是我們的狀況。我們可以調(diào)試這些想法，繼續(xù)進(jìn)行新的假設(shè)。這還沒有為工業(yè)應(yīng)用做好準(zhǔn)備。
但是行業(yè)關(guān)心兩個(gè)實(shí)際的局限性，這項(xiàng)研究可能會(huì)有所幫助。一個(gè)是構(gòu)建對環(huán)境變化更具健壯性的系統(tǒng)，另一個(gè)是我們?nèi)绾螛?gòu)建自然語言處理系統(tǒng)，對話系統(tǒng)和虛擬助手?當(dāng)前使用深度學(xué)習(xí)的最先進(jìn)系統(tǒng)的問題在于，它們接受了大量數(shù)據(jù)的訓(xùn)練，但是他們并不太了解他們在說什么。像Gary Marcus這樣的人注意到了這一點(diǎn)會(huì)說，“這證明深度學(xué)習(xí)是行不通的?！毕裎疫@樣的人說，“那很有趣，讓我們應(yīng)對挑戰(zhàn)?！?物理、語言和常識(shí)
Spectrum：聊天機(jī)器人如何做得更好?
Bengio：有一個(gè)叫做“基礎(chǔ)語言學(xué)習(xí)”的想法最近正在引起的關(guān)注。這個(gè)想法是，人工智能系統(tǒng)不應(yīng)該僅從文本中學(xué)習(xí)。它應(yīng)該同時(shí)學(xué)習(xí)世界如何運(yùn)轉(zhuǎn)以及如何用語言描述世界。問問自己：如果孩子僅通過文本與世界互動(dòng)，能否理解世界?我懷疑他們會(huì)很困難。
這與有意識(shí)或無意識(shí)知識(shí)有關(guān)，我們知道但無法具體命名。直觀的物理就是一個(gè)很好的例子。兩歲的孩子懂得直觀的物理，他們不知道牛頓方程，但是他們從具體的意義上理解重力等概念?，F(xiàn)在，有些人正在嘗試構(gòu)建與環(huán)境互動(dòng)并發(fā)現(xiàn)物理基本定律的系統(tǒng)。 Spectrum：為什么基本的物理知識(shí)會(huì)有助于對話?
Bengio：語言方面的問題是，系統(tǒng)通常并不真正理解單詞所指的復(fù)雜性。例如，在Winograd模式中使用的語句;為了理解它們，你必須掌握物理知識(shí)。像這樣的句子：“吉姆想把燈放到他的行李箱里，但是它太大了?！蹦阒溃绻@個(gè)物體太大而不能放進(jìn)行李箱，那么“它”一定是第二個(gè)短語的主語“它”。你可以用語言交流這種知識(shí)，但這不是我們四處說的那種話：“一件行李的典型大小是x乘x?！?我們需要能夠理解世界的語言理解系統(tǒng)。當(dāng)前，人工智能研究人員正在尋找捷徑。但是他們還不夠。人工智能系統(tǒng)還需要獲取世界運(yùn)作方式的模型。
（轉(zhuǎn)載）
