作為在計(jì)算機(jī)科學(xué)領(lǐng)域深耕21年的基礎(chǔ)與應(yīng)用研究機(jī)構(gòu)，微軟亞洲研究院始終致力于推動計(jì)算機(jī)科學(xué)全領(lǐng)域的前沿發(fā)展，著眼于下一代革命性技術(shù)的創(chuàng)新與突破。
在即將過去的2019年，微軟亞洲研究院持續(xù)探索計(jì)算機(jī)科學(xué)的邊界，收獲了累累的科研碩果，在 ACL、EMNLP、NeurIPS、ICML、AAAI、IJCAI、CVPR、ICCV、SIGGRAPH、KDD、WWW、SIGCOMM、NSDI、MobiCom 等計(jì)算機(jī)科學(xué)國際頂級會議上共發(fā)表230余篇論文，全面覆蓋了機(jī)器學(xué)習(xí)、自然語言處理、計(jì)算機(jī)視覺、圖形學(xué)、可視化、語音、數(shù)據(jù)挖掘、軟件工程、計(jì)算機(jī)系統(tǒng)、網(wǎng)絡(luò)、數(shù)據(jù)庫與安全等領(lǐng)域。
站在2020年的入口，腳下交織著過去與未來的風(fēng)，我們對未來翹首以盼。在接下來的幾天，我們將從機(jī)器學(xué)習(xí)、系統(tǒng)、數(shù)據(jù)智能、語音與自然語言、計(jì)算機(jī)視覺與圖形學(xué)五大領(lǐng)域出發(fā)，盤點(diǎn)2019年值得注目的技術(shù)熱點(diǎn)，并展望各個領(lǐng)域的未來發(fā)展趨勢。
本文將與大家分享的是2019年機(jī)器學(xué)習(xí)和系統(tǒng)領(lǐng)域的突破與進(jìn)展，以及未來趨勢。如果說機(jī)器學(xué)習(xí)可以算是 AI 的大腦，那么系統(tǒng)網(wǎng)絡(luò)就像 AI 的身體軀干。AI 的進(jìn)一步普及，需要對機(jī)器學(xué)習(xí)算法、模型、理論等進(jìn)行不斷地優(yōu)化和提煉，同時也需要能夠構(gòu)建出高效、穩(wěn)定、可信乃至“精巧”的 AI 系統(tǒng)，為 AI 應(yīng)用的真正落地做好諸多準(zhǔn)備。
AI 與 System，互生互長
當(dāng)人們?yōu)闃?gòu)建 AI 應(yīng)用而尋找底層系統(tǒng)架構(gòu)時，常常會發(fā)現(xiàn)尋找或開發(fā)出一個高效、穩(wěn)定、可信的 AI 系統(tǒng)卻不是件易事。這種情況在如今 AI 和云計(jì)算相結(jié)合的趨勢下愈加明顯。AI 方案提供商們不可能再像早期實(shí)驗(yàn)室研究那樣，不計(jì)成本地追求性能，而且隨著支撐 AI 應(yīng)用的高性能計(jì)算節(jié)點(diǎn)的引入和大規(guī)模應(yīng)用，傳統(tǒng)系統(tǒng)架構(gòu)本身也制約了性能的提升。因此，腳踏實(shí)地地考慮性能、穩(wěn)定性、可擴(kuò)展性、性價比等多方面因素在 AI 應(yīng)用背景下的再平衡，設(shè)計(jì)和開發(fā)更加“精巧”的 AI 系統(tǒng)是未來的發(fā)展方向。同時，如何充分挖掘 AI 技術(shù)的潛力，來提升系統(tǒng)研究和設(shè)計(jì)本身也是一個重要課題。
System for AI：AI 落地需要更好的系統(tǒng)支撐
各類 AI 技術(shù)和應(yīng)用的不斷創(chuàng)新，讓計(jì)算機(jī)系統(tǒng)得以處理前所未見的大規(guī)模數(shù)據(jù)和應(yīng)付高度復(fù)雜的大型系統(tǒng)問題，從模型訓(xùn)練到應(yīng)用推理，各個層面都對系統(tǒng)的構(gòu)建提出了嚴(yán)峻的考驗(yàn)。
在微軟亞洲研究院看來，要更好地支撐機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等 AI 算法的運(yùn)行，系統(tǒng)需要從硬件到軟件到網(wǎng)絡(luò)全面重構(gòu)。例如，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練會涉及多種系統(tǒng)問題，包括如何充分發(fā)揮 GPU 利用率、如何在以 GPU 為主的高性能計(jì)算集群中實(shí)施大數(shù)據(jù)量、高并行度的神經(jīng)網(wǎng)絡(luò)訓(xùn)練、如何避免大型集群訓(xùn)練時發(fā)生硬件故障等。近兩年來，微軟亞洲研究院在 OSDI 2018、USENIX ATC 2019、Eurosys 2019 等大會上發(fā)表了多篇論文，從三個方面對支撐 AI 的系統(tǒng)(System for AI)進(jìn)行了抽象和提升，包括針對深度學(xué)習(xí)提出了新的集群調(diào)度框架 Gandiva[1]，發(fā)布了第一個能夠支持大規(guī)模圖形神經(jīng)網(wǎng)絡(luò)訓(xùn)練的系統(tǒng)架構(gòu) NeuGraph[2]，以及針對大規(guī)模神經(jīng)網(wǎng)絡(luò)分布式訓(xùn)練的基于 RDMA 的網(wǎng)絡(luò)通信技術(shù)[3]。這一系列工作預(yù)示著 AI 系統(tǒng)的未來：只有從單個網(wǎng)絡(luò)的優(yōu)化到底層系統(tǒng)架構(gòu)的全棧式重構(gòu)，才能更好地支持現(xiàn)在及未來深度學(xué)習(xí)的工作負(fù)載。
與此同時，為支撐規(guī)模越來越大的分布式機(jī)器學(xué)習(xí)系統(tǒng)運(yùn)行，底層通信網(wǎng)絡(luò)平臺也需要跟隨 AI 的步伐不斷進(jìn)行創(chuàng)新，進(jìn)一步提高通信性能和效率。微軟亞洲研究院近年來關(guān)注于硬件網(wǎng)絡(luò)方面的研究，其基于可編程硬件的技術(shù)不僅有助于降低網(wǎng)絡(luò)延遲和 CPU 開銷、提高吞吐量、提升網(wǎng)絡(luò)速度，更有利于提升分布式機(jī)器學(xué)習(xí)系統(tǒng)的可擴(kuò)展性和效率。相關(guān)研究成果發(fā)表在了 NSDI 2018、NSDI 2019 和 SIGCOMM 2019 大會上[4-6]。
事實(shí)上，對于深度學(xué)習(xí)的系統(tǒng)研究目前還處于早期階段，很多研究成果集中在商業(yè)化的研究機(jī)構(gòu)，學(xué)術(shù)界由于缺乏企業(yè)級大規(guī)模系統(tǒng)支撐的研究和產(chǎn)品化混合訓(xùn)練的環(huán)境，難以進(jìn)行更深入的研究。為此，微軟亞洲研究院將多項(xiàng)系統(tǒng)相關(guān)的研究成果(OpenPAI、SPTAG、NNI等)開源。同時，為了培養(yǎng) AI 和系統(tǒng)這一研究方向的人才，微軟亞洲研究院通過系統(tǒng)教學(xué)工作組(MSRA System Teaching Workshop)平臺，與國內(nèi)高校一起設(shè)計(jì)新的教學(xué)課程。首期課程將圍繞人工智能和系統(tǒng)交叉領(lǐng)域的前沿方向展開，希望為學(xué)術(shù)界乃至產(chǎn)業(yè)界提供更多參考。所有這些工作都秉承了微軟亞洲研究院一直以來注重開放、合作的傳統(tǒng)，為未來的技術(shù)進(jìn)步和多元發(fā)展奠定了基礎(chǔ)，并促進(jìn)了領(lǐng)域研究的正循環(huán)。
系統(tǒng)如何設(shè)計(jì)才最優(yōu)?AI for System 來幫忙
為 AI 應(yīng)用打造更好的系統(tǒng)，是系統(tǒng)研究順其自然的演變結(jié)果。如同在單機(jī)時代，為 PC 打造操作系統(tǒng);在云時代，為云平臺打造分布式網(wǎng)絡(luò)、數(shù)據(jù)庫;在 AI 時代，自然是進(jìn)一步提升系統(tǒng)的能力，以支撐 AI 的全方位應(yīng)用需求。
但 AI 時代的特別之處在于，AI 所具有的能力也可以反向?yàn)橄到y(tǒng)研究提供新的思路和方法，即反哺系統(tǒng)研究(AI for System)，讓研究員們可以利用 AI 手段去提升系統(tǒng)的設(shè)計(jì)、開發(fā)、維護(hù)等。尤其在系統(tǒng)復(fù)雜度呈幾何量級上升的今天，很多系統(tǒng)問題已經(jīng)無法完全靠人的直覺和經(jīng)驗(yàn)去解決，而是需要進(jìn)行大量的數(shù)據(jù)分析來驅(qū)動復(fù)雜系統(tǒng)的優(yōu)化。
一直以來，系統(tǒng)研究都有一個要解決的核心問題：系統(tǒng)怎么設(shè)計(jì)才是最優(yōu)?如今，研究員們有了機(jī)器學(xué)習(xí)這個有力的工具，這個問題的解決也比以往更加高效。過去一年，微軟亞洲研究院系統(tǒng)組的研究員在 ATC 2018 和 ATC 2019 大會上發(fā)表論文，提出了一種方法，通過自動優(yōu)化系統(tǒng)并引入現(xiàn)實(shí)因素，讓機(jī)器學(xué)習(xí)在真實(shí)場景中發(fā)揮作用[7]，此外，研究員們還應(yīng)用機(jī)器學(xué)習(xí)技術(shù)于優(yōu)化系統(tǒng)運(yùn)行邏輯，讓系統(tǒng)變得更加智能化[8]。
微軟亞洲研究院系統(tǒng)組與微軟 Azure、必應(yīng)(Bing)、廣告等多個產(chǎn)品部門有著非常緊密的長期合作，因此優(yōu)化問題需要在為不同大規(guī)模系統(tǒng)服務(wù)的背景下展開。而在合作過程中，研究員們在考慮，是否可以打造一個通用的 AI for System 框架，為成百上千個系統(tǒng)抽象出通用的平臺?；谶@個 AI for System 平臺化的想法，微軟亞洲研究院系統(tǒng)組在今年的 SIGOPS Operating Systems Review[9]，提出了“系統(tǒng)”和“學(xué)習(xí)”為中心的協(xié)同設(shè)計(jì)，為構(gòu)建系統(tǒng)優(yōu)化提供了一個原則性的方法論。同時，在 NNI 這個開源項(xiàng)目下，給出了初步的為 AI for System 研究設(shè)計(jì)的示例代碼。
讓 AI 在邊緣計(jì)算上更好地運(yùn)行
隨著各種智能設(shè)備和新型應(yīng)用的不斷涌現(xiàn)，計(jì)算模式正從集中式的云計(jì)算向分布式的邊緣計(jì)算轉(zhuǎn)變。一方面是大量的智能設(shè)備(智能監(jiān)控?cái)z像頭、自動駕駛汽車等)產(chǎn)生了海量的數(shù)據(jù)，很難把所有數(shù)據(jù)都上傳到云端進(jìn)行處理。另一方面是新的應(yīng)用和場景需要在本地進(jìn)行數(shù)據(jù)處理。比如人們越來越關(guān)注隱私，不愿意把個人數(shù)據(jù)上傳;自動駕駛、工廠流水線控制等，出于實(shí)時性和可靠性的要求，需要在本地進(jìn)行計(jì)算等等。另外，隨著 AI 算法的不斷成熟，人們開始設(shè)計(jì)各種專用的 AI 處理器，不僅功能強(qiáng)大，而且功耗低，價格便宜，使得在終端設(shè)備上運(yùn)行各種 AI 任務(wù)成為了可能。
在邊緣計(jì)算時代，如何利用 AI 賦能于各種邊緣設(shè)備和應(yīng)用，讓 AI 更好地為人們的工作和生活服務(wù)，就成為了一個重要的研究課題。這需要結(jié)合 AI 和系統(tǒng)兩個方面，讓 AI 在邊緣計(jì)算上更好地運(yùn)行。微軟亞洲研究院系統(tǒng)組的研究員們在如何通過模型-軟件-硬件的協(xié)同設(shè)計(jì)對模型推理進(jìn)行加速、如何保護(hù)用戶的隱私和模型數(shù)據(jù)的安全、如何讓分布在不同地方的設(shè)備聯(lián)合起來，相互協(xié)作從新獲取的數(shù)據(jù)中不斷學(xué)習(xí)等方面進(jìn)行了研究;并在 MobiCom 2018/2019、AAAI 2019、CVPR 2019 等多個頂會上發(fā)表了相關(guān)研究成果[10-13]。
安全是智能技術(shù)的核心要素
如今，AI 技術(shù)正在給人類的工作和生活帶來顛覆性的變革，因此，微軟認(rèn)為企業(yè)與組織必須制定并采取明確的原則，以構(gòu)建可信賴的 AI。在微軟，包括科研在內(nèi)的所有 AI 領(lǐng)域的相關(guān)工作都必須遵循以下六大原則：公平、可靠和安全、隱私、包容、透明、責(zé)任。其中，可靠和安全也是在整個計(jì)算機(jī)領(lǐng)域都備受重視的研究方向。除了智能化、跨領(lǐng)域和開源以外，可靠和安全也是系統(tǒng)研究未來發(fā)展的一大趨勢。
一個頗有顛覆性的熱點(diǎn)是對業(yè)界二、三十年來所默認(rèn)的硬件安全的再認(rèn)識：比如 CPU 的“指令預(yù)執(zhí)行”優(yōu)化可以泄露信息(Meltdown & Spectre 攻擊)，電容的頻繁充放電足以導(dǎo)致相鄰內(nèi)存數(shù)據(jù)的改變(Rowhammer 攻擊)。因此大家對于安全也越發(fā)謹(jǐn)慎，安全意識和思維方式也有所轉(zhuǎn)變：以前如果不知道不安全，往往就默認(rèn)為是安全的;但現(xiàn)在，大家傾向于只有能夠證明是安全的，才是真正的安全。這種意識的轉(zhuǎn)變使得計(jì)算機(jī)領(lǐng)域中一些最根本的價值受到了進(jìn)一步重視，比如邏輯、可計(jì)算性、復(fù)雜性等。而微軟亞洲研究院也一直持續(xù)關(guān)注相關(guān)領(lǐng)域的研究，研究范圍涉及多方計(jì)算、區(qū)塊鏈、聯(lián)邦學(xué)習(xí)、零知識證明等方向。在安全方向上，研究員在 Micro 2018 和 USENIX Security 2018 均有成果發(fā)表[14-15]。
未來的計(jì)算能力將隱形于我們周圍，計(jì)算支持的智能將無處不在。只有不斷的創(chuàng)新，才能保證各種技術(shù)無縫、穩(wěn)定、安全、高效、持續(xù)地協(xié)同進(jìn)行，而這就是未來計(jì)算與智能系統(tǒng)領(lǐng)域發(fā)展需要不斷突破的方向。
機(jī)器學(xué)習(xí)愈親民，AI 愈實(shí)用
過去幾年，以機(jī)器學(xué)習(xí)為代表的人工智能取得了突破性的進(jìn)展，2019年這些勝利的果實(shí)又得到了進(jìn)一步的鞏固，并穩(wěn)定地向前發(fā)展。機(jī)器學(xué)習(xí)理論體系已經(jīng)日趨成熟，機(jī)器學(xué)習(xí)模型、算法也已在一些真實(shí)業(yè)務(wù)場景中嶄露頭角，甚至開始在物流、金融等行業(yè)的關(guān)鍵系統(tǒng)中發(fā)揮作用。
然而 AI 應(yīng)用的進(jìn)一步普及，需要對機(jī)器學(xué)習(xí)算法、模型、理論等進(jìn)行不斷地優(yōu)化和提煉，現(xiàn)階段的機(jī)器學(xué)習(xí)研究和開拓也正是遵循這一發(fā)展脈絡(luò)不斷前行，為 AI 應(yīng)用的落地做好更多的準(zhǔn)備，如簡化訓(xùn)練方式、提升模型速度、深度理解機(jī)器學(xué)習(xí)等，這些著力點(diǎn)都是為了讓機(jī)器學(xué)習(xí)更加普適，促進(jìn) AI 向?qū)嵱眯?、通用型演進(jìn)。
讓機(jī)器學(xué)習(xí)拿來即用
● 從監(jiān)督數(shù)據(jù)學(xué)習(xí)到無標(biāo)注數(shù)據(jù)學(xué)習(xí)
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中最具影響力的一項(xiàng)技術(shù)，研究者眾多，但其突破更多的是在從監(jiān)督數(shù)據(jù)進(jìn)行學(xué)習(xí)方面，而這種方法的樣本數(shù)量少，并不能發(fā)揮神經(jīng)網(wǎng)絡(luò)大容量的優(yōu)勢。2019年開始，包括 Pre-training(預(yù)訓(xùn)練)、對偶學(xué)習(xí)、遷移學(xué)習(xí)等方法的無標(biāo)注數(shù)據(jù)學(xué)習(xí)成為熱點(diǎn)。
Pre-training 以 BERT 為代表，之后陸續(xù)出現(xiàn)了 Xlnet、RoBERTa、T5 等預(yù)訓(xùn)練模型。針對 Pre-training 的研究，微軟亞洲研究院的 MASS、UniLM、VLBERT[16-18] 等預(yù)訓(xùn)練模型都超越了 BERT，進(jìn)而將 Pre-training 研究推向了新的高度;而且這些預(yù)訓(xùn)練方法不僅在很多公開數(shù)據(jù)集中面取得了重大突破，也在實(shí)際的商業(yè)產(chǎn)品中得到了廣泛應(yīng)用。
在無標(biāo)注數(shù)據(jù)方面，微軟亞洲研究院在三年前便提出了對偶學(xué)習(xí)，它主要是利用兩個機(jī)器學(xué)習(xí)任務(wù)之間的結(jié)構(gòu)對偶屬性，從無監(jiān)督數(shù)據(jù)獲得反饋信號進(jìn)行學(xué)習(xí)。在2019年的 ICML 上，對偶學(xué)習(xí)被應(yīng)用到了語音識別和語音合成中，進(jìn)一步驗(yàn)證了這一學(xué)習(xí)范式可以從很少量的標(biāo)注數(shù)據(jù)中學(xué)到好的語音合成模型[19]。今年，微軟亞洲研究院基于對偶學(xué)習(xí)，又提出了多智能體對偶學(xué)習(xí)[20]，并在2019國際機(jī)器翻譯大賽(WMT 2019)上獲取8項(xiàng)冠軍。
WMT 2019國際機(jī)器翻譯大賽結(jié)果
●更快的模型和算法，實(shí)際應(yīng)用才可能落地
深度學(xué)習(xí)使用的訓(xùn)練數(shù)據(jù)越多，模型就越大，從而模型訓(xùn)練時間、支持其運(yùn)行的計(jì)算資源，以及實(shí)際使用中的模型推理時間也越來越長。因此，加快模型和算法的訓(xùn)練、推理速度，才能讓模型在實(shí)際中更快、更好地應(yīng)用。
對此，微軟亞洲研究院提出了快速的語音合成算法FastSpeech[21]，其中的非自回歸深度模型能夠把 mel spectrum 的生成速度提速270倍，同時端到端的語音生成速度提速40倍。FastSpeech 算法對商業(yè)化的語音合成產(chǎn)品提速降費(fèi)非常有效。
實(shí)際應(yīng)用前的演練——強(qiáng)化學(xué)習(xí)用在復(fù)雜游戲中
圍繞著機(jī)器學(xué)習(xí)的另一個熱門方向“強(qiáng)化學(xué)習(xí)”的探索，近年來一直側(cè)重于較小的游戲如 Mojoco，或者是相對簡單的視頻游戲如 Atari 的研究，但今年，如何將深度學(xué)習(xí)用于解決更復(fù)雜游戲里的問題，吸引了大量的注意力，例如針對星際爭霸設(shè)計(jì)的 AlphaStar，其挑戰(zhàn)就是如何從非完全信息中進(jìn)行學(xué)習(xí)，如何處理多人博弈以及更大的動作空間。
微軟亞洲研究院針對麻將設(shè)計(jì)的 AI 系統(tǒng) Suphx，其在技術(shù)上的主要挑戰(zhàn)是：如何處理超大的隱藏信息空間以及非常強(qiáng)的隨機(jī)性。為了應(yīng)對這些挑戰(zhàn)，Suphx 基于深度強(qiáng)化學(xué)習(xí)，提出了近似常熵探索機(jī)制和先知教練來加強(qiáng)訓(xùn)練，并在打牌時實(shí)時進(jìn)行策略適應(yīng)。微軟亞洲研究院認(rèn)為，多人麻將中的復(fù)雜策略和帶有隨機(jī)性的博弈過程更貼近人類的真實(shí)生活，AI 在其中的突破將更能應(yīng)用于實(shí)際環(huán)境中。
機(jī)器學(xué)習(xí)進(jìn)入傳統(tǒng)行業(yè)：物流、金融……
深度學(xué)習(xí)的發(fā)展給許多傳統(tǒng)領(lǐng)域問題的解決提供了全新的思路，微軟亞洲研究院的一些機(jī)器學(xué)習(xí)模型和算法成果，已經(jīng)與物流、金融等業(yè)務(wù)場景進(jìn)行深度結(jié)合，并取得了不錯的效果。
在物流領(lǐng)域的資源調(diào)度方面，微軟亞洲研究院通過與東方海外航運(yùn)合作，探索出了針對資源調(diào)度的一套全新解決方法：競合多智能體強(qiáng)化學(xué)習(xí)。相比于傳統(tǒng)運(yùn)籌學(xué)方法在全局上求解優(yōu)化，競合多智能體強(qiáng)化學(xué)習(xí)把每一個港口和船只建模成智能體，對原來的復(fù)雜問題分而治之，以去中心化的方式進(jìn)行求解，通過協(xié)調(diào)智能體之間的利益分配與轉(zhuǎn)移，來促進(jìn)智能體之間的合作，同時協(xié)調(diào)他們之間的競爭，最終起到全局優(yōu)化的目的。該方法預(yù)計(jì)可以大幅提升業(yè)務(wù)效率并節(jié)省運(yùn)營成本。實(shí)際上，大到全球范圍的航運(yùn)，小到城市內(nèi)的快遞業(yè)務(wù)，人工智能的算法已經(jīng)越來越多地被應(yīng)用到物流行業(yè)中的供需預(yù)測、資源調(diào)度、路徑優(yōu)化、供需評價等任務(wù)中。
在金融領(lǐng)域的量化投資方面，微軟亞洲研究院與華夏基金合作研究，聚焦“AI+指數(shù)增強(qiáng)”，通過探索兩項(xiàng)核心人工智能技術(shù)——時空卷積神經(jīng)網(wǎng)絡(luò)和時變注意力模型，自動構(gòu)建有價值的投資因子，并實(shí)現(xiàn)了動態(tài)的因子非線性復(fù)合。這種“AI+指數(shù)增強(qiáng)”的方法可以挖掘出與傳統(tǒng)投資方法低相關(guān)性的投資組合，幫助金融企業(yè)實(shí)現(xiàn)差異化競爭。未來，人工智能算法在證券、銀行、保險(xiǎn)等行業(yè)還將發(fā)揮出更大的潛能。
更好地理解機(jī)器學(xué)習(xí)“黑盒”
深度學(xué)習(xí)在實(shí)踐中“大展身手”的同時，研究人員也非常期待能深入理解它。比如深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化目標(biāo)是非凸的，理論上很難保證找到最優(yōu)點(diǎn)，但是實(shí)際上隨機(jī)梯度下降總會找到不錯的解;再比如神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)和訓(xùn)練有很多竅門，像跳層連接、注意力機(jī)制、批歸一化、學(xué)習(xí)率階梯指數(shù)下降等。為什么這些竅門會起作用?如何設(shè)計(jì)出新的或者更好的“竅門”?
今年在這些問題的理解上學(xué)術(shù)界有了很多進(jìn)展，其中平均場理論、神經(jīng)切線核、過參數(shù)化、學(xué)習(xí)率階梯指數(shù)下降等研究備受關(guān)注。不過，當(dāng)前的分析方法跟實(shí)際的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練還有一定距離，而更具挑戰(zhàn)的是，如何真正理解這些并設(shè)計(jì)出新網(wǎng)絡(luò)、新算法來提高性能。
基于對深度神經(jīng)網(wǎng)絡(luò)路徑空間的分析，微軟亞洲研究院提出 G-SGD[22], 使得在優(yōu)化 ReLU 網(wǎng)絡(luò)時避免了在權(quán)重空間進(jìn)行神經(jīng)網(wǎng)絡(luò)優(yōu)化的冗余性問題，并基于對跳層連接的穩(wěn)定性分析，提出了 tau-ResNet[23]，對殘差塊中的參數(shù)分支輸出縮小 1/sqrt(L)，從而在非常深的網(wǎng)絡(luò)中保持前傳和后傳的穩(wěn)定性，實(shí)際效果一致，且優(yōu)于原始 ResNet。
另外，基于有跳層連接的網(wǎng)絡(luò)與一階常微分方程的對應(yīng)，以及對注意力機(jī)制的分析，微軟亞洲研究院的研究員們提出了馬卡龍網(wǎng)絡(luò)[24]，來改進(jìn)像 Transformer 這種帶有注意力機(jī)制的網(wǎng)絡(luò)，在 NLP 項(xiàng)目上取得了一致超越 Transformer 的性能。相關(guān)研究已經(jīng)在今年的 ICLR 和 NeurIPS workshops 上發(fā)表、展示。
未來，知其然、更知其所以然
未來，對于深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等人工智能技術(shù)的研究，我們不僅要知其然，更要知其所以然，讓 AI 在可控的、安全的范圍內(nèi)發(fā)揮最大價值。因此，對 AI 的可解釋性、因果分析、魯棒性、隱私保護(hù)的研究，將會是研究人員的長期奮戰(zhàn)目標(biāo)。
機(jī)器學(xué)習(xí)算法在多領(lǐng)域、多場景中的應(yīng)用，使模型和算法的可解釋性愈發(fā)受到重視，在追求算法或模型的高準(zhǔn)確度時，我們更希望知道 AI 為什么做出這種決策或預(yù)測。與可解釋性相關(guān)的，還有因果分析，我們理解問題后，不僅希望做出預(yù)測、決策，還想了解中間的因果關(guān)系，例如了解導(dǎo)致某種疾病的原因就可以更好的避免這種疾病，因果分析可以讓我們更好地理解世界，甚至實(shí)現(xiàn)強(qiáng)人工智能。
另外，在一些與安全高度相關(guān)的應(yīng)用場合，如安防中的人臉識別、醫(yī)療應(yīng)用、無人駕駛的決策算法等，算法和模型的魯棒性尤為關(guān)鍵;同時，面對日益嚴(yán)峻的隱私保護(hù)挑戰(zhàn)，如何在使用機(jī)器學(xué)習(xí)技術(shù)時保護(hù)隱私或者加強(qiáng)隱私保護(hù)，也是未來一個非常重要的課題。
（轉(zhuǎn)載）
