【劃重點】
1、目前97.4%的人工智能加速器部署的都是英偉達GPU芯片，英偉達在人工智能算法訓(xùn)練市場上占據(jù)“近100%”的份額。
2、英偉達高管強調(diào)這不是誤打誤撞，公司在進軍人工智能市場方面一直非常注重策略性。
3、英偉達仍主導(dǎo)谷歌發(fā)明的人工智能行業(yè)標(biāo)準(zhǔn)MLPerf基準(zhǔn)測試。
4、英偉達之所以要收購ARM，是想要在邊緣推理芯片方面獲得更多優(yōu)勢。
5、業(yè)內(nèi)人士認(rèn)為英偉達在隱藏GPU復(fù)雜性方面做得非常出色。
6、英偉達斥資數(shù)千萬美元打造人工智能超算是為了吸引行業(yè)頂尖人才。
【編者按】目前英偉達的GPU主導(dǎo)著人工智能芯片領(lǐng)域。但十年過去，越來越多的企業(yè)開始利用人工智能來從收集的海量數(shù)據(jù)尋找規(guī)律，而很多機構(gòu)和組織也在向深度學(xué)習(xí)研究投入巨額資金。許多初創(chuàng)企業(yè)表示，單靠GPU已經(jīng)落伍，快速發(fā)展的人工智能領(lǐng)域需要新的架構(gòu)。加之物聯(lián)網(wǎng)生成的海量數(shù)據(jù)撲面而來，英偉達將如何掌控人工智能的未來?
以下為文章正文：
英偉達到底是如何從顯卡制造商發(fā)展到主宰人工智能芯片領(lǐng)域的?這個故事似乎和貓有關(guān)系?，F(xiàn)任英偉達首席科學(xué)家的比爾·戴利(Bill Dally)在2010年曾與斯坦福大學(xué)同事、計算機科學(xué)家吳恩達吃過一次早餐。吳恩達當(dāng)時正和谷歌合作開發(fā)一個項目。戴利回憶道，“他正試圖在互聯(lián)網(wǎng)上找貓。他當(dāng)時沒有這么說，但這就是他正在做的?！?/FONT>
吳恩達當(dāng)時正在谷歌旗下的Google X實驗室從事研究項目，試圖開發(fā)出一個能夠自主學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。這個神經(jīng)網(wǎng)絡(luò)播放YouTube上的1000萬段視頻，并學(xué)會如何識別人臉、身體和貓。但吳恩達實現(xiàn)這一點用了幾千個CPU芯片?！拔耶?dāng)時說，’我打賭我們只用幾個GPU就能做到，’”戴利回憶。當(dāng)時圖形圖像處理器(GPU)主要用于處理3D渲染等更密集的工作負載，這使得它們在人工智能方面比CPU效果更好。
戴利求助于英偉達深度學(xué)習(xí)現(xiàn)任研究主管布萊恩·卡坦扎羅(Bryan Catanzaro)，希望實現(xiàn)這一想法。結(jié)果他做到了。他們只用了12個GPU，就證明GPU的并行處理能力在訓(xùn)練吳恩達的人工智能識別模型時比CPU更快更高效。
但卡坦扎羅想讓大家知道的是，英偉達深耕人工智能并不只是源自那次偶然的早餐。事實上，早在2008年加入英偉達之前，卡坦扎羅還是伯克利大學(xué)的研究生時就已經(jīng)在開發(fā)用于人工智能的GPU了。他表示：“英偉達目前所擁有的市場地位絕非偶然。”
英偉達深度學(xué)習(xí)現(xiàn)任研究主管布萊恩·卡坦扎羅(Bryan Catanzaro)
不論如何，英偉達已經(jīng)在人工智能芯片領(lǐng)域占據(jù)了主導(dǎo)地位，關(guān)于公司何時開始以及如何實現(xiàn)這一目標(biāo)的說辭似乎已無關(guān)緊要。目前英偉達的主要營收來源仍然是游戲顯卡，但上一財年公司用于數(shù)據(jù)中心的GPU銷售額攀升至67億美元。2019年，在亞馬遜云服務(wù)(AWS)、谷歌、阿里巴巴和微軟Azure這四大云服務(wù)商的數(shù)據(jù)中心中，97.4%的人工智能加速器中部署的都是英偉達GPU芯片。市場研究公司Cambrian AI Research分析師卡爾·弗羅因德(Karl Freund)表示，英偉達在人工智能算法訓(xùn)練市場上占據(jù)“近100%”的份額。在全世界500強超級計算機中，近70%使用的也是英偉達GPU。幾乎所有的人工智能里程碑都少不了英偉達的芯片。吳恩達的YouTube視頻貓識別系統(tǒng)、DeepMind開發(fā)的圍棋冠軍AlphaGo、OpenAI的語言預(yù)測模型GPT-3都是在英偉達的硬件上運行?？梢哉f，英偉達GPU成了人工智能研究人員的立足點。
盡管英偉達取得了成功，但卡坦扎羅仍然對有關(guān)英偉達是誤打誤撞從游戲領(lǐng)域進入人工智能領(lǐng)域的說法很不滿?！拔野l(fā)誓，我讀過的每一個故事幾乎都是這樣的：GPU碰巧在人工智能方面表現(xiàn)出色，英偉達通過向新市場出售現(xiàn)有芯片暫時到手了筆意外之財，很快它們就會被初創(chuàng)公司所取代。”卡坦扎羅說，“但10年來，英偉達在進軍人工智能市場方面一直非常注重策略性?！?/FONT>
十年過去，顛覆現(xiàn)有市場的時機已經(jīng)成熟。越來越多的企業(yè)開始利用人工智能來從收集的海量數(shù)據(jù)尋找規(guī)律，而很多機構(gòu)和組織也在向深度學(xué)習(xí)研究投入巨額資金。德勤分析師科斯蒂·佩里科斯(Costi Perricos)表示，人工智能將成為各國競相爭奪的焦點。與此同時，深度學(xué)習(xí)模型的規(guī)模和復(fù)雜性都在不斷增加，需要硬件能提供更多算力。
OpenAI的GPT-3就是其中最極端的例子。這個深度學(xué)習(xí)系統(tǒng)可以自動生成人們可理解的文本。整個系統(tǒng)由1750億個參數(shù)及變量組成，計算成本約為460萬美元。隨后，GPT-3被擁有1.6萬億參數(shù)的谷歌語言模型所超越。為了提高精度，人工智能系統(tǒng)往往需要更高效的硬件來處理更多參數(shù)和數(shù)據(jù)，但同時也要防止人工智能本身成為更大的環(huán)境災(zāi)難。丹麥研究人員表示，訓(xùn)練GPT-3所需的能量相當(dāng)于汽車行駛70萬公里的碳排放量。
人們需要更多的人工智能芯片，也需要更好的人工智能芯片。盡管英偉達的早期研發(fā)工作在業(yè)內(nèi)領(lǐng)先一步，但挑戰(zhàn)者們正在競相追趕。谷歌于2015年開始制造自家的人工智能芯片;亞馬遜在2016年收購了以色列芯片設(shè)計公司Annapurna Labs，從去年開始將數(shù)字助理Alexa的大腦換成自家的Inferentia機器學(xué)習(xí)芯片;百度旗下的昆侖芯片最近估值達到了20億美元;高通在2019年宣布推出一款人工智能專用芯片Cloud AI 100;IBM正在研究一種低能耗人工智能芯片設(shè)計;AMD收購賽靈思，專注于人工智能數(shù)據(jù)中心;英特爾在2019年為其至強數(shù)據(jù)中心CPU添加了人工智能加速功能。此外，英特爾先是在2016年以4.08億美元的價格收購了神經(jīng)網(wǎng)絡(luò)芯片公司Nervana，又在2019年以20億美元收購人工智能芯片制造商Habana Labs。在過去的幾年里，Graphcore、SambaNova、Cerebras、Mythic AI、Blaize和TensTorrent等初創(chuàng)公司陸續(xù)發(fā)布或開始測試人工智能芯片。
但全世界仍處于人工智能領(lǐng)域的早期階段。吳恩達的貓是十年前才計算出來的;業(yè)內(nèi)大多數(shù)初創(chuàng)公司只有幾年的歷史。隨著智能物聯(lián)網(wǎng)設(shè)備開始一場機器對機器的革命，更多的數(shù)據(jù)集將會流動起來，所有人的觀點都集中在同一件事上：如何掌控人工智能芯片的未來。
打開人工智能大門的GPU
機器學(xué)習(xí)是一種完全不同的計算工作負載，需要用不那么精確的大量數(shù)據(jù)完成大量數(shù)學(xué)運算。傳統(tǒng)的高性能計算是將多個系統(tǒng)并在一起，構(gòu)建出超級計算機來處理科學(xué)模擬或金融建模等復(fù)雜工作負載。這些任務(wù)通常用高精度的64位數(shù)據(jù)完成計算。相比之下，人工智能計算也需要龐大的計算基礎(chǔ)設(shè)施，但所使用的數(shù)據(jù)并沒有那么精確，只有16位甚至是8位，這有些類似于超現(xiàn)實圖像和上世紀(jì)80年代像素化游戲之間的區(qū)別。人工智能芯片初創(chuàng)公司Cerebras首席執(zhí)行官安德魯·費爾德曼(Andrew Feldman)表示：“數(shù)據(jù)處理基本上很簡單，但也很復(fù)雜?！?/FONT>
人工智能芯片可以是任何針對谷歌TensorFlow或Facebook的PyTorch等機器學(xué)習(xí)工作負載進行過優(yōu)化的處理器。在訓(xùn)練或運行深度學(xué)習(xí)模型時，人工智能芯片不一定要完成所有的計算工作，主要是當(dāng)作加速器來處理最密集的工作負載。例如，英偉達封裝的人工智能系統(tǒng)DGX A100就用8個安培A100 GPU當(dāng)作加速器，此外還有一個128核的AMD CPU。
人工智能并不是什么新鮮事，但之前人們?nèi)鄙僮屔疃葘W(xué)習(xí)模型成為現(xiàn)實的計算能力，這讓研究人員花時間等待硬件的進步。另一家制造人工智能芯片的初創(chuàng)公司SambaNova聯(lián)合創(chuàng)始人兼首席執(zhí)行官Rodrigo Liang表示：“GPU打開了人工智能的大門?！?/FONT>
一年一度的ImageNet計算機視覺挑戰(zhàn)賽讓研究人員相互競爭，開發(fā)能夠識別圖像或物體的算法。2012年，多倫多大學(xué)研究人員亞歷克斯·克里熱夫斯基(Alex Krizhevsky)基于GPU的深度學(xué)習(xí)系統(tǒng)擊敗了其他參賽者。到2015年，所有在ImageNet中排名靠前的參賽者用的都是基于GPU硬件的算法。
這讓深度學(xué)習(xí)研究呈現(xiàn)爆炸式增長的局面。英偉達的技術(shù)讓深度學(xué)習(xí)處理速度提高了20倍以上。但英國芯片初創(chuàng)公司Graphcore聯(lián)合創(chuàng)始人在公司剛剛成立時卻一度找不到投資者?！拔覀儚娘L(fēng)投那里經(jīng)常聽到的一句話是：’什么是人工智能?’”該公司聯(lián)合創(chuàng)始人兼首席技術(shù)官西蒙·諾爾斯(Simon Knowles)回憶起2015年去加州尋求融資的經(jīng)歷時這樣說?！傲钊梭@訝的是，幾個月后，也就是2016年初，一切都變了。那時每個人都熱衷于人工智能，”諾爾斯說。“然而，他們對芯片硬件卻沒有那么感興趣?！毙碌男酒軜?gòu)當(dāng)時被認(rèn)為沒有必要，英偉達已經(jīng)占據(jù)了整個行業(yè)。
但是2016年5月，谷歌改變了一切。Cerebras的費爾德曼稱谷歌做出了一個“夸張的戰(zhàn)略決策”，宣布谷歌已經(jīng)為人工智能應(yīng)用自行開發(fā)芯片。這些所謂張量處理單元(TPU)的芯片就是為了與谷歌TensorFlow機器學(xué)習(xí)編程框架協(xié)同工作。Graphcore的諾爾斯表示，此舉向投資者發(fā)出了一個信號，即新的人工智能芯片設(shè)計或許有市場?！巴蝗婚g所有的風(fēng)投都在想：那些瘋狂的英國人現(xiàn)在在哪兒?”諾爾斯說。從那之后，Graphcore拿到了7.1億美元的融資。
英偉達的競爭對手們認(rèn)為，GPU是為圖形圖像處理而非機器學(xué)習(xí)設(shè)計的，盡管其強大的處理能力意味著比CPU更勝任人工智能任務(wù)。但由于系統(tǒng)優(yōu)化的局限性和軟件層的復(fù)雜性，它們的市場主導(dǎo)地位只能維持這么長的時間?！坝ミ_在隱藏GPU復(fù)雜性方面做得非常出色，”Graphcore聯(lián)合創(chuàng)始人兼首席執(zhí)行官奈杰爾·圖恩(Nigel Toon)表示?！癎PU之所以有效，是因為他們開發(fā)的軟件庫、框架并進行優(yōu)化，隱藏了計算層面的復(fù)雜性。對于英偉達來說，這是一項非常艱巨的任務(wù)?！?/FONT>
但拋開GPU的話，可能需要從頭開始設(shè)計擁有全新架構(gòu)的人工智能芯片。谷歌的TPU芯片是針對特定工作負載設(shè)計的專用集成電路;Cerebras開發(fā)的則是晶圓級引擎，這種巨型芯片要比其他芯片大56倍;IBM和BrainChip則是以人腦為模型開發(fā)神經(jīng)形態(tài)芯片;而Mythic和Graphcore生產(chǎn)的是智能處理單元(IPU)，但設(shè)計有所不同。
但卡坦扎羅認(rèn)為，許多芯片只是人工智能加速器的變體。他說：“我們可以說GPU、TPU或IPU或其他什么，但人們只是很習(xí)慣這些字母?！拔覀冞@樣稱呼GPU是因為以前就這么說……但GPU一直是用于加速計算的，而人們所關(guān)心的工作負載性質(zhì)在不斷變化。”
有誰能和英偉達抗衡?目前英偉達仍主導(dǎo)MLPerf基準(zhǔn)測試.MLPerf是深度學(xué)習(xí)芯片的黃金標(biāo)準(zhǔn)。市場研究公司Cambrian AI Research分析師卡爾·弗羅因德(Karl Freund)指出，由學(xué)術(shù)界和行業(yè)參與者設(shè)計的標(biāo)桿工具MLPerf目前由谷歌和英偉達主導(dǎo)，但初創(chuàng)企業(yè)通常不會費心去完成所有這類測試，因為打造一個系統(tǒng)的成本最好花在別處。
每個英偉達SuperPOD內(nèi)有20個DGX人工智能系統(tǒng)
英偉達在每年的MLPerf測試中都要超過谷歌的TPU。“谷歌發(fā)明MLPerf來顯示他們的TPU有多好，”英偉達解決方案架構(gòu)和工程主管馬克·漢密爾頓(Marc Hamilton)說，“黃仁勛說，只要每次跑MLPerf測試時我們的GPU都能超過谷歌TPU就行，哪怕只有一點就很好?！?/FONT>
據(jù)稱，為了確保能在某次基準(zhǔn)測試中名列前茅，英偉達將一臺超級計算機所搭載的DGX系統(tǒng)從36個升級到96個，這需要對整臺設(shè)備重新布線。為了盡快完工，工程師們直接剪斷了各種線纜，漢密爾頓說整套線纜價值100萬美元。這種瘋狂行為凸顯出基準(zhǔn)測試的刺激作用，但也啟發(fā)英偉達對DGX系統(tǒng)進行重新設(shè)計。如今的DGX系統(tǒng)能以20個為一組自由組合，無需重新布線。
轉(zhuǎn)戰(zhàn)邊緣推理
當(dāng)涉及到基準(zhǔn)測試和組裝超級計算機時，人們總是可以通過添加更多人工智能芯片來提高性能。但對于另一種人工智能計算，也就是邊緣推理則完全不同。
2020年，英偉達宣布將以400億美元的價格收購英國芯片設(shè)計公司ARM，吸引了全世界的目光。要知道，后者的芯片架構(gòu)被用于全球95%的智能手機。但業(yè)內(nèi)反響并不很積極。仍持有公司股份的ARM聯(lián)合創(chuàng)始人赫爾曼·豪澤(Hermann Hauser)稱這是一場“災(zāi)難”，可能會破壞ARM在市場中的中立地位。世界各地的監(jiān)管機構(gòu)都在密切關(guān)注這筆交易。
ARM只設(shè)計芯片，并將知識產(chǎn)權(quán)授權(quán)給芯片制造公司。如果某個人工智能芯片制造商需要一款CPU，他們可以從ARM獲得芯片設(shè)計許可，并按照自家規(guī)格進行制造。競爭對手擔(dān)心英偉達控制ARM后可能會限制相關(guān)合作，不過黃仁勛曾“明確”表示，英偉達將尊重ARM現(xiàn)有的開放模式。
邊緣推理芯片能夠?qū)⑸疃葘W(xué)習(xí)用于現(xiàn)實世界，而ARM正是這種芯片的主要設(shè)計者。英偉達收購ARM意味著可能對現(xiàn)有市場態(tài)勢產(chǎn)生巨大影響。在ARM的幫助下，英偉達可以憑借GPU和邊緣推理方面的優(yōu)勢地位在數(shù)據(jù)中心領(lǐng)域占據(jù)主導(dǎo)地位。
什么是邊緣推理?為了訓(xùn)練和應(yīng)用人工智能模型，英偉達的高性能系統(tǒng)會對數(shù)據(jù)進行大量處理。但在人工智能領(lǐng)域，還有推理這種更輕量級的任務(wù)，也就是使用訓(xùn)練過的模型來解釋某些現(xiàn)實景象。比如無人駕駛汽車?yán)斫鈹z像頭看到的東西，一個智能手機應(yīng)用程序掃描用戶臉部，把貓耳朵貼在自拍照上，或者一個對醫(yī)學(xué)影像進行病理分析等等。由于訓(xùn)練需要巨大算力，通常會在數(shù)據(jù)中心完成;但推理可以在數(shù)據(jù)中心、也可以在邊緣設(shè)備上完成。
第一種推理在數(shù)據(jù)中心完成。當(dāng)你問數(shù)字助理Alexa或Siri一個問題時，其會被傳送回亞馬遜和蘋果的服務(wù)器進行轉(zhuǎn)錄并回復(fù)。第二種推理則發(fā)生在相機、汽車或智能手機等終端用戶設(shè)備中，這被稱為邊緣計算。第二種推理需要的算力不多，但處理速度要快。
英偉達目前主導(dǎo)著數(shù)據(jù)中心領(lǐng)域的推理工作。其A100利用數(shù)據(jù)進行訓(xùn)練，而推理被虛擬化到更小的迷你服務(wù)器中，在同一硬件上能同時完成50個或更多推理工作負載。這對AWS等提供人工智能服務(wù)的科技巨頭很有幫助，因為多家公司可以使用相同硬件而且不會有數(shù)據(jù)泄露的風(fēng)險。在邊緣計算領(lǐng)域，英偉達擁有用于無人駕駛汽車的DRIVE芯片和用于現(xiàn)場推理的EGX芯片，但低功耗芯片并不是英偉達的專長所在。如果你曾經(jīng)使用過搭載英偉達顯卡的游戲筆記本電腦，就會發(fā)現(xiàn)其電池續(xù)航時間比Chromebook要短。但設(shè)計低功耗芯片是ARM最擅長的事情，這也是為什么英偉達不惜斥資400億美元收購ARM的原因。
ARM在人工智能領(lǐng)域的研究主要集中在兩個方面。首先，其將軟件框架整合到現(xiàn)有CPU上。為了應(yīng)對更密集的工作負載，ARM開發(fā)了一種名為Ethos的神經(jīng)處理單元(NPU)當(dāng)作人工智能加速器使用。ARM IP產(chǎn)品部門總裁雷內(nèi)·哈斯(Rene Haas)說，使用Ethos-U55設(shè)計的設(shè)備應(yīng)該很快就會上市，因為獲得該設(shè)計許可的公司已經(jīng)生產(chǎn)出了成品芯片。
有了邊緣推理，語音助手將不再需要將用戶語音上傳到AWS或蘋果服務(wù)器進行處理，而可以基于本地智能做出響應(yīng)。哈斯說：“這使得工作可以在本地設(shè)備上完成，在很多方面都有助于提高效率?！彼赋?，將數(shù)據(jù)在設(shè)備和云端之間來回傳送需要消耗電池能量。
英偉達負責(zé)歐洲、中東和非洲地區(qū)(EMEA)的副總裁戴維·霍根(David Hogan)表示：“很長一段時間以來我們都在談?wù)撐锫?lián)網(wǎng)，但這個愿景直到現(xiàn)在才實現(xiàn)?！薄斑@種轉(zhuǎn)型是我們收購ARM的計劃核心?！?/FONT>
打造人工智能超級計算機
去年，英偉達解決方案架構(gòu)和工程主管馬克·漢密爾頓(Marc Hamilton)花很多時間和精力打造一臺價值5000多萬美元的超級計算機，這就是“劍橋1號”。搭積木般的系統(tǒng)設(shè)計風(fēng)格讓開發(fā)“劍橋1號”變得更容易。“劍橋1號”由一排排成組的DGX人工智能系統(tǒng)組成，每組有20個DGX，被稱為SuperPod。而單個DGX售價19.9萬美元，堪稱一臺完整的人工智能計算機，其中用8個A100芯片作為DGX計算系統(tǒng)核心，同時具有內(nèi)存、網(wǎng)絡(luò)和其他功能。
漢密爾頓說，“劍橋1號”建成后將是英國最強大的人工智能超級計算機，在全世界排名第30位，但在英偉達打造的人工智能超級計算機中只能排到第五?！皠?號”有80個DGX A100系統(tǒng)，而最大的Selene超級計算機有560個。
英偉達的“劍橋1號”人工智能超級計算機
雖然“劍橋1號”不是最快的，也不是最大的超級計算機，但它拿到了兩個第一。漢密爾頓稱其為世界上第一臺原生云超級計算機，有類似于AWS的區(qū)劃功能，企業(yè)能夠使用相同硬件而不會有安全漏洞或數(shù)據(jù)泄露的風(fēng)險。此外，“劍橋1號”也是英偉達唯一向外部合作伙伴開放的超級計算機，各個大學(xué)機構(gòu)、醫(yī)療巨頭阿斯利康、牛津納米孔和葛蘭素史克都可以在“劍橋1號”上運行自己的深度學(xué)習(xí)模型。
為什么英偉達要打造超級計算機?一個原因是，英偉達需要超級計算機來吸引行內(nèi)最優(yōu)秀的人才。2016年，英偉達還沒有超級計算機，而Facebook和谷歌正在搶最好的人工智能研究員。漢密爾頓說：“這并不是因為他們付的工資更高。而是因為谷歌和Facebook在運營業(yè)務(wù)方面有成千上萬的GPU，他們可以讓人工智能研究員訪問這些GPU?！?/FONT>
現(xiàn)在，英偉達的超級計算機Selene是全球第五大計算機，僅次于日本的一臺、中國的一臺和美國擁有的兩臺。漢密爾頓表示，這意味著，如果你是一名想要接觸到最快人工智能硬件的研究人員，完全可以來英偉達工作。
單純提高硬件算力有用嗎
在卡坦扎羅的40人實驗室里，研究人員開發(fā)用于英偉達自家系統(tǒng)的人工智能，但該實驗室也充當(dāng)系統(tǒng)架構(gòu)師的培養(yǎng)基地，讓他們得以了解深度學(xué)習(xí)模型未來可能如何工作?？ㄌ乖_說：“如果你想為未來制造芯片，你想讓它在未來有用，你必須具備預(yù)測未來最重要的工作負載是什么?！薄叭绻愀阍伊耍憔驮戾e了芯片。”芯片的設(shè)計和制造往往需要數(shù)年時間，因此這種研究很有必要。
如果開發(fā)的人工智能模型以后不在GPU上運行，或者至少不能在GPU上運行，那會怎么樣?英偉達的戴利承認(rèn)有這種可能性，但由于大多數(shù)研究人員都在研究GPU，他認(rèn)為這種想法不太可能成為現(xiàn)實。他說：“在新模型上線之前，我們通常都聽說過它，并有機會對其進行測試，確保其在我們的GPU上運行良好?！?/FONT>
其他人則不同意戴利的這種說法。他們認(rèn)為GPU可能影響到深度學(xué)習(xí)模型發(fā)揮全部潛力。Cerebras公司的費爾德曼說：“每個人都在根據(jù)當(dāng)今的技術(shù)調(diào)整自己的模型?！薄拔覀冏罡吲d、最興奮的事情之一，是有一群正在編寫全新模型的客戶?！彼f今年Cerebras將展示所謂的“GPU不可能完成的工作”實例。費爾德曼強調(diào)，GPU根本無法完成某些人工智能工作。
Graphcore公司的圖恩則表示，研究人員早就抱怨，當(dāng)今硬件已經(jīng)成了絆腳石，影像人們思考更復(fù)雜的問題。圖恩說：“比如概率機器學(xué)習(xí)等想法仍然被擱置，因為目前GPU等硬件不允許這種想法向前發(fā)展?！薄案偁幍慕裹c在于英偉達能以多快速度升級GPU，還是用新的東西來實現(xiàn)這一點?”
麻省理工學(xué)院計算機科學(xué)和人工智能實驗室研究員尼爾·湯普森(Neil Thompson)在人工智能會議上注意到一個趨勢，研究人員暗示，計算能力的限制影響了他們的模型開發(fā)，限制了他們的選擇和數(shù)據(jù)集，因為他們無法負擔(dān)高昂成本、通過重新運行模型來解決問題。他說：“這真的很普遍。就深度學(xué)習(xí)的未來而言，這是一個非常大的問題。”
湯普森和同事分析了1058篇人工智能論文，發(fā)現(xiàn)機器學(xué)習(xí)對算力的需求遠遠超過硬件改進或模型訓(xùn)練的效率。長此以往，系統(tǒng)總有一天需要花費數(shù)億甚至數(shù)十億美元來進行訓(xùn)練，這還沒有算其他成本。湯普森說：“使用更多GPU的問題在于，將GPU數(shù)每增加一倍，成本就會增加一倍，由此帶來的碳排放和環(huán)境污染也會增加一倍?！?/FONT>
他認(rèn)為，僅靠英偉達等公司的硬件解決方案都不足以阻止人工智能創(chuàng)新陷入困境。相反，研究員需要開發(fā)更高效的模型，更好利用現(xiàn)有模型。諸如稀疏性(忽略數(shù)據(jù)集中的零以節(jié)省算力)之類的想法可以提供幫助，因為這種方法可以更有條理地處理數(shù)據(jù)，只將其與相關(guān)參數(shù)進行比較。另一個想法是將人們從模型中學(xué)到的東西提煉成更輕量級的方程，只運行模型中和問題相關(guān)的部分。
如果沒有這方面的努力，人們將需要更大的數(shù)據(jù)中心。但人工智能不應(yīng)局限于那些負擔(dān)得起超級計算機的人。湯普森說，在從事高端深度學(xué)習(xí)研究工作的大學(xué)中，“計算機能力較弱的大學(xué)越來越少”?！艾F(xiàn)在仍然有相當(dāng)多的機構(gòu)可以參與人工智能研究，但是隨著算力的增加，玩家數(shù)量越來越少。我們已經(jīng)到了有些人被排除在外的地步?！?/FONT>
削減成本可能是初創(chuàng)公司擊敗現(xiàn)有公司贏得客戶的一種方式。AWS去年將Habana Labs的人工智能芯片添加到其云服務(wù)中，稱Habana Labs人工智能系統(tǒng)的運行成本要低40%。Habana Labs首席商務(wù)官埃坦·麥地那(Eitan Medina)表示：“要讓人工智能惠及所有人，而不僅僅是富人，你真的需要提高性價比?！?/FONT>
人工智能已經(jīng)存在偏見問題，而硬件訪問方面的不平等加劇了這一問題。英偉達新興領(lǐng)域主管凱特·卡洛(Kate Kallot)表示：“這意味著我們觀察問題會存在片面性。”“如果你忽略了世界上很大一部分人口……那我們?nèi)绾文芙鉀Q世界各地的挑戰(zhàn)?”她表示許多人工智能研究人員正將工作轉(zhuǎn)向應(yīng)對貧困和氣候危機等挑戰(zhàn)，但訪問硬件的問題將在很大程度上影響新興市場。
除此之外還有其他挑戰(zhàn)。最近芯片制造一直受到限制。歐盟最近承諾，到2030年計劃生產(chǎn)全球五分之一的高端芯片。今年3月，英特爾宣布計劃首次在美國開設(shè)兩家新工廠，并代工芯片。
隨著這些障礙被克服，芯片會繼續(xù)升級，人工智能將擴展到生活中的方方面面。在未來，智能不僅僅意味著聯(lián)網(wǎng)，還意味著嵌入人工智能。“它將無處不在，”ARM的哈斯說?！霸谖磥韼啄陜?nèi)，它將無處不在地出現(xiàn)在每一個計算應(yīng)用程序中。”(皎晗)
來源：硅谷封面
（轉(zhuǎn)載）
