【劃重點(diǎn)】
1、目前97.4%的人工智能加速器部署的都是英偉達(dá)GPU芯片，英偉達(dá)在人工智能算法訓(xùn)練市場(chǎng)上占據(jù)“近100%”的份額。
2、英偉達(dá)高管強(qiáng)調(diào)這不是誤打誤撞，公司在進(jìn)軍人工智能市場(chǎng)方面一直非常注重策略性。
3、英偉達(dá)仍主導(dǎo)谷歌發(fā)明的人工智能行業(yè)標(biāo)準(zhǔn)MLPerf基準(zhǔn)測(cè)試。
4、英偉達(dá)之所以要收購(gòu)ARM，是想要在邊緣推理芯片方面獲得更多優(yōu)勢(shì)。
5、業(yè)內(nèi)人士認(rèn)為英偉達(dá)在隱藏GPU復(fù)雜性方面做得非常出色。
6、英偉達(dá)斥資數(shù)千萬(wàn)美元打造人工智能超算是為了吸引行業(yè)頂尖人才。
【編者按】目前英偉達(dá)的GPU主導(dǎo)著人工智能芯片領(lǐng)域。但十年過(guò)去，越來(lái)越多的企業(yè)開始利用人工智能來(lái)從收集的海量數(shù)據(jù)尋找規(guī)律，而很多機(jī)構(gòu)和組織也在向深度學(xué)習(xí)研究投入巨額資金。許多初創(chuàng)企業(yè)表示，單靠GPU已經(jīng)落伍，快速發(fā)展的人工智能領(lǐng)域需要新的架構(gòu)。加之物聯(lián)網(wǎng)生成的海量數(shù)據(jù)撲面而來(lái)，英偉達(dá)將如何掌控人工智能的未來(lái)?
以下為文章正文：
英偉達(dá)到底是如何從顯卡制造商發(fā)展到主宰人工智能芯片領(lǐng)域的?這個(gè)故事似乎和貓有關(guān)系?，F(xiàn)任英偉達(dá)首席科學(xué)家的比爾·戴利(Bill Dally)在2010年曾與斯坦福大學(xué)同事、計(jì)算機(jī)科學(xué)家吳恩達(dá)吃過(guò)一次早餐。吳恩達(dá)當(dāng)時(shí)正和谷歌合作開發(fā)一個(gè)項(xiàng)目。戴利回憶道，“他正試圖在互聯(lián)網(wǎng)上找貓。他當(dāng)時(shí)沒有這么說(shuō)，但這就是他正在做的。”
吳恩達(dá)當(dāng)時(shí)正在谷歌旗下的Google X實(shí)驗(yàn)室從事研究項(xiàng)目，試圖開發(fā)出一個(gè)能夠自主學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。這個(gè)神經(jīng)網(wǎng)絡(luò)播放YouTube上的1000萬(wàn)段視頻，并學(xué)會(huì)如何識(shí)別人臉、身體和貓。但吳恩達(dá)實(shí)現(xiàn)這一點(diǎn)用了幾千個(gè)CPU芯片?！拔耶?dāng)時(shí)說(shuō)，’我打賭我們只用幾個(gè)GPU就能做到，’”戴利回憶。當(dāng)時(shí)圖形圖像處理器(GPU)主要用于處理3D渲染等更密集的工作負(fù)載，這使得它們?cè)谌斯ぶ悄芊矫姹菴PU效果更好。
戴利求助于英偉達(dá)深度學(xué)習(xí)現(xiàn)任研究主管布萊恩·卡坦扎羅(Bryan Catanzaro)，希望實(shí)現(xiàn)這一想法。結(jié)果他做到了。他們只用了12個(gè)GPU，就證明GPU的并行處理能力在訓(xùn)練吳恩達(dá)的人工智能識(shí)別模型時(shí)比CPU更快更高效。
但卡坦扎羅想讓大家知道的是，英偉達(dá)深耕人工智能并不只是源自那次偶然的早餐。事實(shí)上，早在2008年加入英偉達(dá)之前，卡坦扎羅還是伯克利大學(xué)的研究生時(shí)就已經(jīng)在開發(fā)用于人工智能的GPU了。他表示：“英偉達(dá)目前所擁有的市場(chǎng)地位絕非偶然?！?/FONT>
英偉達(dá)深度學(xué)習(xí)現(xiàn)任研究主管布萊恩·卡坦扎羅(Bryan Catanzaro)
不論如何，英偉達(dá)已經(jīng)在人工智能芯片領(lǐng)域占據(jù)了主導(dǎo)地位，關(guān)于公司何時(shí)開始以及如何實(shí)現(xiàn)這一目標(biāo)的說(shuō)辭似乎已無(wú)關(guān)緊要。目前英偉達(dá)的主要營(yíng)收來(lái)源仍然是游戲顯卡，但上一財(cái)年公司用于數(shù)據(jù)中心的GPU銷售額攀升至67億美元。2019年，在亞馬遜云服務(wù)(AWS)、谷歌、阿里巴巴和微軟Azure這四大云服務(wù)商的數(shù)據(jù)中心中，97.4%的人工智能加速器中部署的都是英偉達(dá)GPU芯片。市場(chǎng)研究公司Cambrian AI Research分析師卡爾·弗羅因德(Karl Freund)表示，英偉達(dá)在人工智能算法訓(xùn)練市場(chǎng)上占據(jù)“近100%”的份額。在全世界500強(qiáng)超級(jí)計(jì)算機(jī)中，近70%使用的也是英偉達(dá)GPU。幾乎所有的人工智能里程碑都少不了英偉達(dá)的芯片。吳恩達(dá)的YouTube視頻貓識(shí)別系統(tǒng)、DeepMind開發(fā)的圍棋冠軍AlphaGo、OpenAI的語(yǔ)言預(yù)測(cè)模型GPT-3都是在英偉達(dá)的硬件上運(yùn)行。可以說(shuō)，英偉達(dá)GPU成了人工智能研究人員的立足點(diǎn)。
盡管英偉達(dá)取得了成功，但卡坦扎羅仍然對(duì)有關(guān)英偉達(dá)是誤打誤撞從游戲領(lǐng)域進(jìn)入人工智能領(lǐng)域的說(shuō)法很不滿?！拔野l(fā)誓，我讀過(guò)的每一個(gè)故事幾乎都是這樣的：GPU碰巧在人工智能方面表現(xiàn)出色，英偉達(dá)通過(guò)向新市場(chǎng)出售現(xiàn)有芯片暫時(shí)到手了筆意外之財(cái)，很快它們就會(huì)被初創(chuàng)公司所取代?！笨ㄌ乖_說(shuō)，“但10年來(lái)，英偉達(dá)在進(jìn)軍人工智能市場(chǎng)方面一直非常注重策略性?！?/FONT>
十年過(guò)去，顛覆現(xiàn)有市場(chǎng)的時(shí)機(jī)已經(jīng)成熟。越來(lái)越多的企業(yè)開始利用人工智能來(lái)從收集的海量數(shù)據(jù)尋找規(guī)律，而很多機(jī)構(gòu)和組織也在向深度學(xué)習(xí)研究投入巨額資金。德勤分析師科斯蒂·佩里科斯(Costi Perricos)表示，人工智能將成為各國(guó)競(jìng)相爭(zhēng)奪的焦點(diǎn)。與此同時(shí)，深度學(xué)習(xí)模型的規(guī)模和復(fù)雜性都在不斷增加，需要硬件能提供更多算力。
OpenAI的GPT-3就是其中最極端的例子。這個(gè)深度學(xué)習(xí)系統(tǒng)可以自動(dòng)生成人們可理解的文本。整個(gè)系統(tǒng)由1750億個(gè)參數(shù)及變量組成，計(jì)算成本約為460萬(wàn)美元。隨后，GPT-3被擁有1.6萬(wàn)億參數(shù)的谷歌語(yǔ)言模型所超越。為了提高精度，人工智能系統(tǒng)往往需要更高效的硬件來(lái)處理更多參數(shù)和數(shù)據(jù)，但同時(shí)也要防止人工智能本身成為更大的環(huán)境災(zāi)難。丹麥研究人員表示，訓(xùn)練GPT-3所需的能量相當(dāng)于汽車行駛70萬(wàn)公里的碳排放量。
人們需要更多的人工智能芯片，也需要更好的人工智能芯片。盡管英偉達(dá)的早期研發(fā)工作在業(yè)內(nèi)領(lǐng)先一步，但挑戰(zhàn)者們正在競(jìng)相追趕。谷歌于2015年開始制造自家的人工智能芯片;亞馬遜在2016年收購(gòu)了以色列芯片設(shè)計(jì)公司Annapurna Labs，從去年開始將數(shù)字助理Alexa的大腦換成自家的Inferentia機(jī)器學(xué)習(xí)芯片;百度旗下的昆侖芯片最近估值達(dá)到了20億美元;高通在2019年宣布推出一款人工智能專用芯片Cloud AI 100;IBM正在研究一種低能耗人工智能芯片設(shè)計(jì);AMD收購(gòu)賽靈思，專注于人工智能數(shù)據(jù)中心;英特爾在2019年為其至強(qiáng)數(shù)據(jù)中心CPU添加了人工智能加速功能。此外，英特爾先是在2016年以4.08億美元的價(jià)格收購(gòu)了神經(jīng)網(wǎng)絡(luò)芯片公司Nervana，又在2019年以20億美元收購(gòu)人工智能芯片制造商Habana Labs。在過(guò)去的幾年里，Graphcore、SambaNova、Cerebras、Mythic AI、Blaize和TensTorrent等初創(chuàng)公司陸續(xù)發(fā)布或開始測(cè)試人工智能芯片。
但全世界仍處于人工智能領(lǐng)域的早期階段。吳恩達(dá)的貓是十年前才計(jì)算出來(lái)的;業(yè)內(nèi)大多數(shù)初創(chuàng)公司只有幾年的歷史。隨著智能物聯(lián)網(wǎng)設(shè)備開始一場(chǎng)機(jī)器對(duì)機(jī)器的革命，更多的數(shù)據(jù)集將會(huì)流動(dòng)起來(lái)，所有人的觀點(diǎn)都集中在同一件事上：如何掌控人工智能芯片的未來(lái)。
打開人工智能大門的GPU
機(jī)器學(xué)習(xí)是一種完全不同的計(jì)算工作負(fù)載，需要用不那么精確的大量數(shù)據(jù)完成大量數(shù)學(xué)運(yùn)算。傳統(tǒng)的高性能計(jì)算是將多個(gè)系統(tǒng)并在一起，構(gòu)建出超級(jí)計(jì)算機(jī)來(lái)處理科學(xué)模擬或金融建模等復(fù)雜工作負(fù)載。這些任務(wù)通常用高精度的64位數(shù)據(jù)完成計(jì)算。相比之下，人工智能計(jì)算也需要龐大的計(jì)算基礎(chǔ)設(shè)施，但所使用的數(shù)據(jù)并沒有那么精確，只有16位甚至是8位，這有些類似于超現(xiàn)實(shí)圖像和上世紀(jì)80年代像素化游戲之間的區(qū)別。人工智能芯片初創(chuàng)公司Cerebras首席執(zhí)行官安德魯·費(fèi)爾德曼(Andrew Feldman)表示：“數(shù)據(jù)處理基本上很簡(jiǎn)單，但也很復(fù)雜?！?/FONT>
人工智能芯片可以是任何針對(duì)谷歌TensorFlow或Facebook的PyTorch等機(jī)器學(xué)習(xí)工作負(fù)載進(jìn)行過(guò)優(yōu)化的處理器。在訓(xùn)練或運(yùn)行深度學(xué)習(xí)模型時(shí)，人工智能芯片不一定要完成所有的計(jì)算工作，主要是當(dāng)作加速器來(lái)處理最密集的工作負(fù)載。例如，英偉達(dá)封裝的人工智能系統(tǒng)DGX A100就用8個(gè)安培A100 GPU當(dāng)作加速器，此外還有一個(gè)128核的AMD CPU。
人工智能并不是什么新鮮事，但之前人們?nèi)鄙僮屔疃葘W(xué)習(xí)模型成為現(xiàn)實(shí)的計(jì)算能力，這讓研究人員花時(shí)間等待硬件的進(jìn)步。另一家制造人工智能芯片的初創(chuàng)公司SambaNova聯(lián)合創(chuàng)始人兼首席執(zhí)行官Rodrigo Liang表示：“GPU打開了人工智能的大門?！?/FONT>
一年一度的ImageNet計(jì)算機(jī)視覺挑戰(zhàn)賽讓研究人員相互競(jìng)爭(zhēng)，開發(fā)能夠識(shí)別圖像或物體的算法。2012年，多倫多大學(xué)研究人員亞歷克斯·克里熱夫斯基(Alex Krizhevsky)基于GPU的深度學(xué)習(xí)系統(tǒng)擊敗了其他參賽者。到2015年，所有在ImageNet中排名靠前的參賽者用的都是基于GPU硬件的算法。
這讓深度學(xué)習(xí)研究呈現(xiàn)爆炸式增長(zhǎng)的局面。英偉達(dá)的技術(shù)讓深度學(xué)習(xí)處理速度提高了20倍以上。但英國(guó)芯片初創(chuàng)公司Graphcore聯(lián)合創(chuàng)始人在公司剛剛成立時(shí)卻一度找不到投資者?！拔覀儚娘L(fēng)投那里經(jīng)常聽到的一句話是：’什么是人工智能?’”該公司聯(lián)合創(chuàng)始人兼首席技術(shù)官西蒙·諾爾斯(Simon Knowles)回憶起2015年去加州尋求融資的經(jīng)歷時(shí)這樣說(shuō)?！傲钊梭@訝的是，幾個(gè)月后，也就是2016年初，一切都變了。那時(shí)每個(gè)人都熱衷于人工智能，”諾爾斯說(shuō)?！叭欢?，他們對(duì)芯片硬件卻沒有那么感興趣?！毙碌男酒軜?gòu)當(dāng)時(shí)被認(rèn)為沒有必要，英偉達(dá)已經(jīng)占據(jù)了整個(gè)行業(yè)。
但是2016年5月，谷歌改變了一切。Cerebras的費(fèi)爾德曼稱谷歌做出了一個(gè)“夸張的戰(zhàn)略決策”，宣布谷歌已經(jīng)為人工智能應(yīng)用自行開發(fā)芯片。這些所謂張量處理單元(TPU)的芯片就是為了與谷歌TensorFlow機(jī)器學(xué)習(xí)編程框架協(xié)同工作。Graphcore的諾爾斯表示，此舉向投資者發(fā)出了一個(gè)信號(hào)，即新的人工智能芯片設(shè)計(jì)或許有市場(chǎng)?！巴蝗婚g所有的風(fēng)投都在想：那些瘋狂的英國(guó)人現(xiàn)在在哪兒?”諾爾斯說(shuō)。從那之后，Graphcore拿到了7.1億美元的融資。
英偉達(dá)的競(jìng)爭(zhēng)對(duì)手們認(rèn)為，GPU是為圖形圖像處理而非機(jī)器學(xué)習(xí)設(shè)計(jì)的，盡管其強(qiáng)大的處理能力意味著比CPU更勝任人工智能任務(wù)。但由于系統(tǒng)優(yōu)化的局限性和軟件層的復(fù)雜性，它們的市場(chǎng)主導(dǎo)地位只能維持這么長(zhǎng)的時(shí)間?！坝ミ_(dá)在隱藏GPU復(fù)雜性方面做得非常出色，”Graphcore聯(lián)合創(chuàng)始人兼首席執(zhí)行官奈杰爾·圖恩(Nigel Toon)表示。“GPU之所以有效，是因?yàn)樗麄冮_發(fā)的軟件庫(kù)、框架并進(jìn)行優(yōu)化，隱藏了計(jì)算層面的復(fù)雜性。對(duì)于英偉達(dá)來(lái)說(shuō)，這是一項(xiàng)非常艱巨的任務(wù)?！?/FONT>
但拋開GPU的話，可能需要從頭開始設(shè)計(jì)擁有全新架構(gòu)的人工智能芯片。谷歌的TPU芯片是針對(duì)特定工作負(fù)載設(shè)計(jì)的專用集成電路;Cerebras開發(fā)的則是晶圓級(jí)引擎，這種巨型芯片要比其他芯片大56倍;IBM和BrainChip則是以人腦為模型開發(fā)神經(jīng)形態(tài)芯片;而Mythic和Graphcore生產(chǎn)的是智能處理單元(IPU)，但設(shè)計(jì)有所不同。
但卡坦扎羅認(rèn)為，許多芯片只是人工智能加速器的變體。他說(shuō)：“我們可以說(shuō)GPU、TPU或IPU或其他什么，但人們只是很習(xí)慣這些字母。“我們這樣稱呼GPU是因?yàn)橐郧熬瓦@么說(shuō)……但GPU一直是用于加速計(jì)算的，而人們所關(guān)心的工作負(fù)載性質(zhì)在不斷變化?！?/FONT>
有誰(shuí)能和英偉達(dá)抗衡?目前英偉達(dá)仍主導(dǎo)MLPerf基準(zhǔn)測(cè)試.MLPerf是深度學(xué)習(xí)芯片的黃金標(biāo)準(zhǔn)。市場(chǎng)研究公司Cambrian AI Research分析師卡爾·弗羅因德(Karl Freund)指出，由學(xué)術(shù)界和行業(yè)參與者設(shè)計(jì)的標(biāo)桿工具M(jìn)LPerf目前由谷歌和英偉達(dá)主導(dǎo)，但初創(chuàng)企業(yè)通常不會(huì)費(fèi)心去完成所有這類測(cè)試，因?yàn)榇蛟煲粋€(gè)系統(tǒng)的成本最好花在別處。
每個(gè)英偉達(dá)SuperPOD內(nèi)有20個(gè)DGX人工智能系統(tǒng)
英偉達(dá)在每年的MLPerf測(cè)試中都要超過(guò)谷歌的TPU?！肮雀璋l(fā)明MLPerf來(lái)顯示他們的TPU有多好，”英偉達(dá)解決方案架構(gòu)和工程主管馬克·漢密爾頓(Marc Hamilton)說(shuō)，“黃仁勛說(shuō)，只要每次跑MLPerf測(cè)試時(shí)我們的GPU都能超過(guò)谷歌TPU就行，哪怕只有一點(diǎn)就很好。”
據(jù)稱，為了確保能在某次基準(zhǔn)測(cè)試中名列前茅，英偉達(dá)將一臺(tái)超級(jí)計(jì)算機(jī)所搭載的DGX系統(tǒng)從36個(gè)升級(jí)到96個(gè)，這需要對(duì)整臺(tái)設(shè)備重新布線。為了盡快完工，工程師們直接剪斷了各種線纜，漢密爾頓說(shuō)整套線纜價(jià)值100萬(wàn)美元。這種瘋狂行為凸顯出基準(zhǔn)測(cè)試的刺激作用，但也啟發(fā)英偉達(dá)對(duì)DGX系統(tǒng)進(jìn)行重新設(shè)計(jì)。如今的DGX系統(tǒng)能以20個(gè)為一組自由組合，無(wú)需重新布線。
轉(zhuǎn)戰(zhàn)邊緣推理
當(dāng)涉及到基準(zhǔn)測(cè)試和組裝超級(jí)計(jì)算機(jī)時(shí)，人們總是可以通過(guò)添加更多人工智能芯片來(lái)提高性能。但對(duì)于另一種人工智能計(jì)算，也就是邊緣推理則完全不同。
2020年，英偉達(dá)宣布將以400億美元的價(jià)格收購(gòu)英國(guó)芯片設(shè)計(jì)公司ARM，吸引了全世界的目光。要知道，后者的芯片架構(gòu)被用于全球95%的智能手機(jī)。但業(yè)內(nèi)反響并不很積極。仍持有公司股份的ARM聯(lián)合創(chuàng)始人赫爾曼·豪澤(Hermann Hauser)稱這是一場(chǎng)“災(zāi)難”，可能會(huì)破壞ARM在市場(chǎng)中的中立地位。世界各地的監(jiān)管機(jī)構(gòu)都在密切關(guān)注這筆交易。
ARM只設(shè)計(jì)芯片，并將知識(shí)產(chǎn)權(quán)授權(quán)給芯片制造公司。如果某個(gè)人工智能芯片制造商需要一款CPU，他們可以從ARM獲得芯片設(shè)計(jì)許可，并按照自家規(guī)格進(jìn)行制造。競(jìng)爭(zhēng)對(duì)手擔(dān)心英偉達(dá)控制ARM后可能會(huì)限制相關(guān)合作，不過(guò)黃仁勛曾“明確”表示，英偉達(dá)將尊重ARM現(xiàn)有的開放模式。
邊緣推理芯片能夠?qū)⑸疃葘W(xué)習(xí)用于現(xiàn)實(shí)世界，而ARM正是這種芯片的主要設(shè)計(jì)者。英偉達(dá)收購(gòu)ARM意味著可能對(duì)現(xiàn)有市場(chǎng)態(tài)勢(shì)產(chǎn)生巨大影響。在ARM的幫助下，英偉達(dá)可以憑借GPU和邊緣推理方面的優(yōu)勢(shì)地位在數(shù)據(jù)中心領(lǐng)域占據(jù)主導(dǎo)地位。
什么是邊緣推理?為了訓(xùn)練和應(yīng)用人工智能模型，英偉達(dá)的高性能系統(tǒng)會(huì)對(duì)數(shù)據(jù)進(jìn)行大量處理。但在人工智能領(lǐng)域，還有推理這種更輕量級(jí)的任務(wù)，也就是使用訓(xùn)練過(guò)的模型來(lái)解釋某些現(xiàn)實(shí)景象。比如無(wú)人駕駛汽車?yán)斫鈹z像頭看到的東西，一個(gè)智能手機(jī)應(yīng)用程序掃描用戶臉部，把貓耳朵貼在自拍照上，或者一個(gè)對(duì)醫(yī)學(xué)影像進(jìn)行病理分析等等。由于訓(xùn)練需要巨大算力，通常會(huì)在數(shù)據(jù)中心完成;但推理可以在數(shù)據(jù)中心、也可以在邊緣設(shè)備上完成。
第一種推理在數(shù)據(jù)中心完成。當(dāng)你問(wèn)數(shù)字助理Alexa或Siri一個(gè)問(wèn)題時(shí)，其會(huì)被傳送回亞馬遜和蘋果的服務(wù)器進(jìn)行轉(zhuǎn)錄并回復(fù)。第二種推理則發(fā)生在相機(jī)、汽車或智能手機(jī)等終端用戶設(shè)備中，這被稱為邊緣計(jì)算。第二種推理需要的算力不多，但處理速度要快。
英偉達(dá)目前主導(dǎo)著數(shù)據(jù)中心領(lǐng)域的推理工作。其A100利用數(shù)據(jù)進(jìn)行訓(xùn)練，而推理被虛擬化到更小的迷你服務(wù)器中，在同一硬件上能同時(shí)完成50個(gè)或更多推理工作負(fù)載。這對(duì)AWS等提供人工智能服務(wù)的科技巨頭很有幫助，因?yàn)槎嗉夜究梢允褂孟嗤布也粫?huì)有數(shù)據(jù)泄露的風(fēng)險(xiǎn)。在邊緣計(jì)算領(lǐng)域，英偉達(dá)擁有用于無(wú)人駕駛汽車的DRIVE芯片和用于現(xiàn)場(chǎng)推理的EGX芯片，但低功耗芯片并不是英偉達(dá)的專長(zhǎng)所在。如果你曾經(jīng)使用過(guò)搭載英偉達(dá)顯卡的游戲筆記本電腦，就會(huì)發(fā)現(xiàn)其電池續(xù)航時(shí)間比Chromebook要短。但設(shè)計(jì)低功耗芯片是ARM最擅長(zhǎng)的事情，這也是為什么英偉達(dá)不惜斥資400億美元收購(gòu)ARM的原因。
ARM在人工智能領(lǐng)域的研究主要集中在兩個(gè)方面。首先，其將軟件框架整合到現(xiàn)有CPU上。為了應(yīng)對(duì)更密集的工作負(fù)載，ARM開發(fā)了一種名為Ethos的神經(jīng)處理單元(NPU)當(dāng)作人工智能加速器使用。ARM IP產(chǎn)品部門總裁雷內(nèi)·哈斯(Rene Haas)說(shuō)，使用Ethos-U55設(shè)計(jì)的設(shè)備應(yīng)該很快就會(huì)上市，因?yàn)楂@得該設(shè)計(jì)許可的公司已經(jīng)生產(chǎn)出了成品芯片。
有了邊緣推理，語(yǔ)音助手將不再需要將用戶語(yǔ)音上傳到AWS或蘋果服務(wù)器進(jìn)行處理，而可以基于本地智能做出響應(yīng)。哈斯說(shuō)：“這使得工作可以在本地設(shè)備上完成，在很多方面都有助于提高效率?！彼赋?，將數(shù)據(jù)在設(shè)備和云端之間來(lái)回傳送需要消耗電池能量。
英偉達(dá)負(fù)責(zé)歐洲、中東和非洲地區(qū)(EMEA)的副總裁戴維·霍根(David Hogan)表示：“很長(zhǎng)一段時(shí)間以來(lái)我們都在談?wù)撐锫?lián)網(wǎng)，但這個(gè)愿景直到現(xiàn)在才實(shí)現(xiàn)?！薄斑@種轉(zhuǎn)型是我們收購(gòu)ARM的計(jì)劃核心。”
打造人工智能超級(jí)計(jì)算機(jī)
去年，英偉達(dá)解決方案架構(gòu)和工程主管馬克·漢密爾頓(Marc Hamilton)花很多時(shí)間和精力打造一臺(tái)價(jià)值5000多萬(wàn)美元的超級(jí)計(jì)算機(jī)，這就是“劍橋1號(hào)”。搭積木般的系統(tǒng)設(shè)計(jì)風(fēng)格讓開發(fā)“劍橋1號(hào)”變得更容易?！皠?號(hào)”由一排排成組的DGX人工智能系統(tǒng)組成，每組有20個(gè)DGX，被稱為SuperPod。而單個(gè)DGX售價(jià)19.9萬(wàn)美元，堪稱一臺(tái)完整的人工智能計(jì)算機(jī)，其中用8個(gè)A100芯片作為DGX計(jì)算系統(tǒng)核心，同時(shí)具有內(nèi)存、網(wǎng)絡(luò)和其他功能。
漢密爾頓說(shuō)，“劍橋1號(hào)”建成后將是英國(guó)最強(qiáng)大的人工智能超級(jí)計(jì)算機(jī)，在全世界排名第30位，但在英偉達(dá)打造的人工智能超級(jí)計(jì)算機(jī)中只能排到第五?！皠?號(hào)”有80個(gè)DGX A100系統(tǒng)，而最大的Selene超級(jí)計(jì)算機(jī)有560個(gè)。
英偉達(dá)的“劍橋1號(hào)”人工智能超級(jí)計(jì)算機(jī)
雖然“劍橋1號(hào)”不是最快的，也不是最大的超級(jí)計(jì)算機(jī)，但它拿到了兩個(gè)第一。漢密爾頓稱其為世界上第一臺(tái)原生云超級(jí)計(jì)算機(jī)，有類似于AWS的區(qū)劃功能，企業(yè)能夠使用相同硬件而不會(huì)有安全漏洞或數(shù)據(jù)泄露的風(fēng)險(xiǎn)。此外，“劍橋1號(hào)”也是英偉達(dá)唯一向外部合作伙伴開放的超級(jí)計(jì)算機(jī)，各個(gè)大學(xué)機(jī)構(gòu)、醫(yī)療巨頭阿斯利康、牛津納米孔和葛蘭素史克都可以在“劍橋1號(hào)”上運(yùn)行自己的深度學(xué)習(xí)模型。
為什么英偉達(dá)要打造超級(jí)計(jì)算機(jī)?一個(gè)原因是，英偉達(dá)需要超級(jí)計(jì)算機(jī)來(lái)吸引行內(nèi)最優(yōu)秀的人才。2016年，英偉達(dá)還沒有超級(jí)計(jì)算機(jī)，而Facebook和谷歌正在搶最好的人工智能研究員。漢密爾頓說(shuō)：“這并不是因?yàn)樗麄兏兜墓べY更高。而是因?yàn)楣雀韬虵acebook在運(yùn)營(yíng)業(yè)務(wù)方面有成千上萬(wàn)的GPU，他們可以讓人工智能研究員訪問(wèn)這些GPU?！?/FONT>
現(xiàn)在，英偉達(dá)的超級(jí)計(jì)算機(jī)Selene是全球第五大計(jì)算機(jī)，僅次于日本的一臺(tái)、中國(guó)的一臺(tái)和美國(guó)擁有的兩臺(tái)。漢密爾頓表示，這意味著，如果你是一名想要接觸到最快人工智能硬件的研究人員，完全可以來(lái)英偉達(dá)工作。
單純提高硬件算力有用嗎
在卡坦扎羅的40人實(shí)驗(yàn)室里，研究人員開發(fā)用于英偉達(dá)自家系統(tǒng)的人工智能，但該實(shí)驗(yàn)室也充當(dāng)系統(tǒng)架構(gòu)師的培養(yǎng)基地，讓他們得以了解深度學(xué)習(xí)模型未來(lái)可能如何工作?？ㄌ乖_說(shuō)：“如果你想為未來(lái)制造芯片，你想讓它在未來(lái)有用，你必須具備預(yù)測(cè)未來(lái)最重要的工作負(fù)載是什么?！薄叭绻愀阍伊?，你就造錯(cuò)了芯片?！毙酒脑O(shè)計(jì)和制造往往需要數(shù)年時(shí)間，因此這種研究很有必要。
如果開發(fā)的人工智能模型以后不在GPU上運(yùn)行，或者至少不能在GPU上運(yùn)行，那會(huì)怎么樣?英偉達(dá)的戴利承認(rèn)有這種可能性，但由于大多數(shù)研究人員都在研究GPU，他認(rèn)為這種想法不太可能成為現(xiàn)實(shí)。他說(shuō)：“在新模型上線之前，我們通常都聽說(shuō)過(guò)它，并有機(jī)會(huì)對(duì)其進(jìn)行測(cè)試，確保其在我們的GPU上運(yùn)行良好。”
其他人則不同意戴利的這種說(shuō)法。他們認(rèn)為GPU可能影響到深度學(xué)習(xí)模型發(fā)揮全部潛力。Cerebras公司的費(fèi)爾德曼說(shuō)：“每個(gè)人都在根據(jù)當(dāng)今的技術(shù)調(diào)整自己的模型?！薄拔覀冏罡吲d、最興奮的事情之一，是有一群正在編寫全新模型的客戶。”他說(shuō)今年Cerebras將展示所謂的“GPU不可能完成的工作”實(shí)例。費(fèi)爾德曼強(qiáng)調(diào)，GPU根本無(wú)法完成某些人工智能工作。
Graphcore公司的圖恩則表示，研究人員早就抱怨，當(dāng)今硬件已經(jīng)成了絆腳石，影像人們思考更復(fù)雜的問(wèn)題。圖恩說(shuō)：“比如概率機(jī)器學(xué)習(xí)等想法仍然被擱置，因?yàn)槟壳癎PU等硬件不允許這種想法向前發(fā)展?！薄案?jìng)爭(zhēng)的焦點(diǎn)在于英偉達(dá)能以多快速度升級(jí)GPU，還是用新的東西來(lái)實(shí)現(xiàn)這一點(diǎn)?”
麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室研究員尼爾·湯普森(Neil Thompson)在人工智能會(huì)議上注意到一個(gè)趨勢(shì)，研究人員暗示，計(jì)算能力的限制影響了他們的模型開發(fā)，限制了他們的選擇和數(shù)據(jù)集，因?yàn)樗麄儫o(wú)法負(fù)擔(dān)高昂成本、通過(guò)重新運(yùn)行模型來(lái)解決問(wèn)題。他說(shuō)：“這真的很普遍。就深度學(xué)習(xí)的未來(lái)而言，這是一個(gè)非常大的問(wèn)題?！?/FONT>
湯普森和同事分析了1058篇人工智能論文，發(fā)現(xiàn)機(jī)器學(xué)習(xí)對(duì)算力的需求遠(yuǎn)遠(yuǎn)超過(guò)硬件改進(jìn)或模型訓(xùn)練的效率。長(zhǎng)此以往，系統(tǒng)總有一天需要花費(fèi)數(shù)億甚至數(shù)十億美元來(lái)進(jìn)行訓(xùn)練，這還沒有算其他成本。湯普森說(shuō)：“使用更多GPU的問(wèn)題在于，將GPU數(shù)每增加一倍，成本就會(huì)增加一倍，由此帶來(lái)的碳排放和環(huán)境污染也會(huì)增加一倍。”
他認(rèn)為，僅靠英偉達(dá)等公司的硬件解決方案都不足以阻止人工智能創(chuàng)新陷入困境。相反，研究員需要開發(fā)更高效的模型，更好利用現(xiàn)有模型。諸如稀疏性(忽略數(shù)據(jù)集中的零以節(jié)省算力)之類的想法可以提供幫助，因?yàn)檫@種方法可以更有條理地處理數(shù)據(jù)，只將其與相關(guān)參數(shù)進(jìn)行比較。另一個(gè)想法是將人們從模型中學(xué)到的東西提煉成更輕量級(jí)的方程，只運(yùn)行模型中和問(wèn)題相關(guān)的部分。
如果沒有這方面的努力，人們將需要更大的數(shù)據(jù)中心。但人工智能不應(yīng)局限于那些負(fù)擔(dān)得起超級(jí)計(jì)算機(jī)的人。湯普森說(shuō)，在從事高端深度學(xué)習(xí)研究工作的大學(xué)中，“計(jì)算機(jī)能力較弱的大學(xué)越來(lái)越少”。“現(xiàn)在仍然有相當(dāng)多的機(jī)構(gòu)可以參與人工智能研究，但是隨著算力的增加，玩家數(shù)量越來(lái)越少。我們已經(jīng)到了有些人被排除在外的地步。”
削減成本可能是初創(chuàng)公司擊敗現(xiàn)有公司贏得客戶的一種方式。AWS去年將Habana Labs的人工智能芯片添加到其云服務(wù)中，稱Habana Labs人工智能系統(tǒng)的運(yùn)行成本要低40%。Habana Labs首席商務(wù)官埃坦·麥地那(Eitan Medina)表示：“要讓人工智能惠及所有人，而不僅僅是富人，你真的需要提高性價(jià)比?！?/FONT>
人工智能已經(jīng)存在偏見問(wèn)題，而硬件訪問(wèn)方面的不平等加劇了這一問(wèn)題。英偉達(dá)新興領(lǐng)域主管凱特·卡洛(Kate Kallot)表示：“這意味著我們觀察問(wèn)題會(huì)存在片面性?！薄叭绻愫雎粤耸澜缟虾艽笠徊糠秩丝凇俏覀?nèi)绾文芙鉀Q世界各地的挑戰(zhàn)?”她表示許多人工智能研究人員正將工作轉(zhuǎn)向應(yīng)對(duì)貧困和氣候危機(jī)等挑戰(zhàn)，但訪問(wèn)硬件的問(wèn)題將在很大程度上影響新興市場(chǎng)。
除此之外還有其他挑戰(zhàn)。最近芯片制造一直受到限制。歐盟最近承諾，到2030年計(jì)劃生產(chǎn)全球五分之一的高端芯片。今年3月，英特爾宣布計(jì)劃首次在美國(guó)開設(shè)兩家新工廠，并代工芯片。
隨著這些障礙被克服，芯片會(huì)繼續(xù)升級(jí)，人工智能將擴(kuò)展到生活中的方方面面。在未來(lái)，智能不僅僅意味著聯(lián)網(wǎng)，還意味著嵌入人工智能?！八鼘o(wú)處不在，”ARM的哈斯說(shuō)?！霸谖磥?lái)幾年內(nèi)，它將無(wú)處不在地出現(xiàn)在每一個(gè)計(jì)算應(yīng)用程序中。”(皎晗)
來(lái)源：硅谷封面
（轉(zhuǎn)載）
