體系結(jié)構(gòu)如何加速人工智能?圖靈獎(jiǎng)得主David Patterson為你解惑

　　導(dǎo)語(yǔ)：2020 WAIC·開(kāi)發(fā)者日將于7月10日-11日線上舉辦。在主論壇上，圖靈獎(jiǎng)得主David Patterson將帶來(lái)宗師課《體系結(jié)構(gòu)創(chuàng)新加速人工智能》。

　　人工智能已經(jīng)成為新一輪產(chǎn)業(yè)變革的核心驅(qū)動(dòng)力，正在對(duì)世界經(jīng)濟(jì)、社會(huì)進(jìn)步和人類(lèi)生活產(chǎn)生極其深刻的影響。

　　2020世界人工智能大會(huì)云端峰會(huì)致力于打造世界頂尖人工智能合作交流平臺(tái)，推動(dòng)和主導(dǎo)人工智能產(chǎn)業(yè)和技術(shù)創(chuàng)新融合發(fā)展，大會(huì)將于7月9-11日在上海舉行，全程采用線上直播的形式。

　　世界人工智能大會(huì)開(kāi)發(fā)者日(以下簡(jiǎn)稱為WAIC·開(kāi)發(fā)者日)云端峰會(huì)作為大會(huì)主題論壇及特色活動(dòng)，是WAIC期間唯一面向AI開(kāi)發(fā)者的專業(yè)活動(dòng)，將成為人工智能領(lǐng)域年度最高規(guī)格、最專業(yè)、最具影響力的開(kāi)發(fā)者盛會(huì)之一。本屆開(kāi)發(fā)者日包含1場(chǎng)主論壇、多場(chǎng)分論壇、高峰對(duì)話、黑客松、Demoday、公開(kāi)課等活動(dòng)，為業(yè)界呈現(xiàn)最豐盛的人工智能技術(shù)分享盛宴。在活動(dòng)期間，大會(huì)也將進(jìn)行上海白玉蘭開(kāi)源開(kāi)放研究院揭牌、發(fā)布《人工智能開(kāi)源開(kāi)放報(bào)告》、WAIC 云帆獎(jiǎng)。

　　在今年的開(kāi)發(fā)日主論壇上，機(jī)器之心聯(lián)合上海交通大學(xué)人工智能研究院邀請(qǐng)到多位重磅嘉賓，其中就包括2017年圖靈獎(jiǎng)得主、計(jì)算機(jī)體系結(jié)構(gòu)宗師David Patterson。

　　屆時(shí)，他將帶來(lái)主題演講《體系結(jié)構(gòu)創(chuàng)新加速人工智能》(Architecture Innovation Accelerates Artificial Intelligence)。

2017圖靈獎(jiǎng)得主、體系結(jié)構(gòu)巨擘 David Patterson

　　David A. Patterson自1977年進(jìn)入加州大學(xué)伯克利分校執(zhí)教以來(lái)，一直講授計(jì)算機(jī)體系結(jié)構(gòu)課程，擁有該校計(jì)算機(jī)科學(xué)Pardee講座教授職位。他因?yàn)榻虒W(xué)成果顯著而榮獲了加州大學(xué)的杰出教學(xué)獎(jiǎng)、ACM的Karlstrom獎(jiǎng)、IEEE的Mulligan教育獎(jiǎng)?wù)潞捅究粕虒W(xué)獎(jiǎng)。

　　因在RISC方面的貢獻(xiàn)而獲得了IEEE技術(shù)成就獎(jiǎng)和ACM Eckert-Mauchly獎(jiǎng)，他還因?yàn)樵赗AID方面的貢獻(xiàn)而分享了IEEE Johnson信息存儲(chǔ)獎(jiǎng)，并與John Hennessy共同獲得了IEEE約翰?馮?諾依曼獎(jiǎng)?wù)隆 & C獎(jiǎng)金和2017圖靈獎(jiǎng)。此外，Patterson還是美國(guó)藝術(shù)與科學(xué)院院士、美國(guó)計(jì)算機(jī)歷史博物館院士、ACM和IEEE會(huì)士。他還被選入美國(guó)國(guó)家工程院、美國(guó)國(guó)家科學(xué)院和硅谷工程名人堂。Patterson身為美國(guó)總統(tǒng)信息技術(shù)顧問(wèn)委員會(huì)委員，同時(shí)也是伯克利電子工程與計(jì)算機(jī)科學(xué)系計(jì)算機(jī)科學(xué)分部主任、計(jì)算機(jī)研究協(xié)會(huì)主席和ACM主席。這一履歷使他榮獲了ACM和CRA頒發(fā)的杰出服務(wù)獎(jiǎng)。

　　在加州大學(xué)伯克利分校，Patterson領(lǐng)導(dǎo)了RISCI的設(shè)計(jì)與實(shí)現(xiàn)工作，這可能是第一臺(tái)VLSI精簡(jiǎn)指令集計(jì)算機(jī)，為商業(yè)SPARC體系結(jié)構(gòu)奠定了基礎(chǔ)。他曾是廉價(jià)磁盤(pán)冗余陣列(Redundant Arrays of Inexpensive Disks，RAID)項(xiàng)目的領(lǐng)導(dǎo)者之一，正是由于這一項(xiàng)目，才有了后來(lái)許多公司出品的可靠存儲(chǔ)系統(tǒng)。他還參與了工作站網(wǎng)絡(luò)(Network of Workstations，NOW)項(xiàng)目，因?yàn)檫@一項(xiàng)目而有了因特網(wǎng)公司使用的集群技術(shù)和后來(lái)的云計(jì)算。這些項(xiàng)目獲得了ACM頒發(fā)的三個(gè)論文獎(jiǎng)。

　　作為“算法 機(jī)器 人類(lèi)”(AMP)實(shí)驗(yàn)室和并行計(jì)算實(shí)驗(yàn)室的主管，他目前在這里開(kāi)展自己的研究項(xiàng)目。AMP實(shí)驗(yàn)室的目標(biāo)是開(kāi)發(fā)可擴(kuò)展的機(jī)器學(xué)習(xí)算法、適用于倉(cāng)庫(kù)級(jí)計(jì)算機(jī)的編程模型、能夠快速洞悉云中海量數(shù)據(jù)的眾包(Crowd-Sourcing)工具。并行計(jì)算實(shí)驗(yàn)室的目標(biāo)是研發(fā)先進(jìn)技術(shù)，為并行個(gè)人移動(dòng)設(shè)備提供可擴(kuò)展、可移植、方便快捷的效率軟件。

　　此外，Patterson還與另一位圖靈獎(jiǎng)得主John L. Hennessy合著計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)學(xué)科經(jīng)典著作《計(jì)算機(jī)體系結(jié)構(gòu)：量化研究方法》，這本書(shū)堪稱計(jì)算機(jī)體系結(jié)構(gòu)的「圣經(jīng)」，數(shù)代工程師和科學(xué)家采用和發(fā)揚(yáng)他們的理念。

體系結(jié)構(gòu)與AI

　　計(jì)算機(jī)體系結(jié)構(gòu)是程序員所看到的計(jì)算機(jī)的屬性，即計(jì)算機(jī)的邏輯結(jié)構(gòu)和功能特征，包括其各個(gè)硬部件和軟部件之間的相互關(guān)系。

　　對(duì)計(jì)算機(jī)系統(tǒng)設(shè)計(jì)者而言，計(jì)算機(jī)體系結(jié)構(gòu)是指研究計(jì)算機(jī)的基本設(shè)計(jì)思想和由此產(chǎn)生的邏輯結(jié)構(gòu);對(duì)程序設(shè)計(jì)者而言，則是指對(duì)系統(tǒng)的功能描述(如指令集、編制方式等)。

　　David A. Patterson和John L. Hennessy在《計(jì)算機(jī)體系結(jié)構(gòu)：量化研究方法》(第5版)前言中寫(xiě)道：

　　這個(gè)學(xué)科不是令人昏昏欲睡、百無(wú)一用的紙版模型。絕對(duì)不是!這是一個(gè)受到人們熱切關(guān)注的學(xué)科，需要在市場(chǎng)競(jìng)爭(zhēng)力與成本、性能、能耗之間作好權(quán)衡，從事這個(gè)學(xué)科既可能導(dǎo)致可怕的失敗，也可能帶來(lái)顯赫的成功。

　　眾所周知，近期人工智能的飛速發(fā)展離不開(kāi)海量數(shù)據(jù)和算力提升，而算力是承載和推動(dòng)人工 智能走向?qū)嶋H應(yīng)用的基礎(chǔ)平臺(tái)和決定性力量。

　　計(jì)算機(jī)體系結(jié)構(gòu)的進(jìn)步正是滿足算力需求的必經(jīng)之路。同時(shí)，人工智能的發(fā)展也重塑了體系結(jié)構(gòu)的設(shè)計(jì)過(guò)程。

　　人工智能的特點(diǎn)對(duì)算力提出了不同于以往的新要求，傳統(tǒng)的面向通用計(jì)算負(fù)載的CPU架構(gòu)無(wú)法完全滿足海量數(shù)據(jù)的并 行計(jì)算需求，以異構(gòu)計(jì)算、加速計(jì)算、可編程計(jì)算等為代表的新的計(jì)算技術(shù)和架構(gòu)更適合人工智能的并行計(jì)算需求，得到了快速的發(fā)展。

　　此外，在摩爾定律逐漸失效和深度學(xué)習(xí)算力需求如無(wú)底洞般膨脹的今天，深度學(xué)習(xí)研究者們也在思考：能否改進(jìn)算法以使其更適應(yīng)計(jì)算硬件?能否幫助優(yōu)化系統(tǒng)配置?

　　在《黃金時(shí)代》論文里，Jeff Dean和 David Patterson以谷歌開(kāi)發(fā)的兩代機(jī)器學(xué)習(xí) ASIC(用于加速推理的 TPUv1 和用于加速訓(xùn)練的 TPUv2)為例，介紹了設(shè)計(jì)專用硬件的思路。

　　進(jìn)行硬件設(shè)計(jì)要著眼于至少 5 年后的模型：現(xiàn)在開(kāi)始一款 ASIC 的設(shè)計(jì)，它大約可以在 2 年后投入使用，而一款專用硬件至少需要能夠保持 3 年的競(jìng)爭(zhēng)力才有價(jià)值。Jeff Dean和 David Patterson介紹了，在這樣的前提下，設(shè)計(jì)深度學(xué)習(xí)專用硬件需要考慮的問(wèn)題。

　　從他們關(guān)于硬件結(jié)構(gòu)和人工智能發(fā)展的探討中，我們可以得出以下見(jiàn)解：「當(dāng)下，想要朝通用人工智能的道路上前行，研究者、工程師、體系結(jié)構(gòu)設(shè)計(jì)者，這些身份一個(gè)都不能少」。

　　2019年David Patterson與John Hennessy 合作發(fā)表了文章《計(jì)算機(jī)架構(gòu)的新黃金時(shí)代》，完整介紹了計(jì)算機(jī)芯片的發(fā)展歷程，以及所有架構(gòu)的未來(lái)趨勢(shì)。

　　這篇文章的最后寫(xiě)道「架構(gòu)設(shè)計(jì)者必須意識(shí)到軟件創(chuàng)新也能激勵(lì)架構(gòu)發(fā)展，而提高硬件/軟件界面的抽象水平會(huì)帶來(lái)創(chuàng)新的機(jī)會(huì)，市場(chǎng)最終會(huì)解決計(jì)算機(jī)架構(gòu)的爭(zhēng)論」。

　　他們預(yù)言：「未來(lái)十年，將會(huì)有一場(chǎng)新計(jì)算機(jī)架構(gòu)的寒武紀(jì)爆炸，這對(duì)業(yè)界和學(xué)界的架構(gòu)師們來(lái)說(shuō)將是激動(dòng)人心的時(shí)刻?！?/FONT>