Qualcomm Technologies正憑借其規(guī)?；募夹g(shù)發(fā)明致力于讓數(shù)萬億終端支持人工智能(AI)，這將不僅豐富我們的生活，同時也將變革諸多行業(yè)。對于運(yùn)行在聯(lián)網(wǎng)終端上的AI，它的處理能效需要不斷提升。高能效是Qualcomm AI Research的核心研究領(lǐng)域之一。本篇博客將通過舉例說明Qualcomm在高能效AI算法方面的最新研究，以及它如何與高能效的硬件設(shè)計相輔相成。
每焦耳提供多少智能將成為AI的評估基準(zhǔn)
深度神經(jīng)網(wǎng)絡(luò)(DNN)的爆發(fā)式增長正在推動AI的發(fā)展。在深度神經(jīng)網(wǎng)絡(luò)的能耗以指數(shù)級增長的同時，其預(yù)測的準(zhǔn)確性也相應(yīng)提升，盡管這一提升十分微小但卻至關(guān)重要。根據(jù)目前的發(fā)展趨勢，預(yù)計在2025年，神經(jīng)網(wǎng)絡(luò)有望將其規(guī)模擴(kuò)大至100萬億個權(quán)重參數(shù)(圖1)，這一數(shù)據(jù)與人類大腦中突觸的數(shù)量接近。大腦的能效比目前的數(shù)字硬件高100倍，因此它也賦予我們不斷提升的希望和動力。
圖1：深度神經(jīng)網(wǎng)絡(luò)(DNN)的爆發(fā)式增長正驅(qū)動大量的能源消耗。(資料來源：韋靈思)
值得關(guān)注的是，很快，AI處理的基準(zhǔn)測試將會有所改變，AI算法將以每焦耳可以提供多少智能作為衡量指標(biāo)。兩個主要原因如下：
o一方面，廣泛的經(jīng)濟(jì)可行性需要高能效AI，這是因?yàn)锳I所創(chuàng)造的價值必須高于運(yùn)行該服務(wù)的成本。更直觀的說，對于應(yīng)用AI的每項(xiàng)交易，它的經(jīng)濟(jì)效益可能要求成本低至1微美元(即一美分的萬分之一)，比如利用AI實(shí)現(xiàn)個性化廣告和推薦。
o另一方面，將終端側(cè)AI處理運(yùn)行在精致、超薄的移動終端上也要求高能效。一個讓消費(fèi)者廣泛采用AI的場景是，在功耗和散熱能力有限且要求全天續(xù)航的終端設(shè)計中，處理始終在線的計算密集型工作負(fù)載。此外，一些其他類型的終端也要求同樣的能效特性，例如自動駕駛汽車、無人機(jī)和機(jī)器人。
更深入地研究深度神經(jīng)網(wǎng)絡(luò)
主要由卷積神經(jīng)網(wǎng)絡(luò)(CNN)組成的深度神經(jīng)網(wǎng)絡(luò)(DNN)正在驅(qū)動時下的AI變革。接下來我們將從優(yōu)點(diǎn)和缺點(diǎn)兩方面來介紹CNN。只有從基本角度了解它的缺點(diǎn)才能幫助我們改進(jìn)CNN。
圖2：面向圖像分類的簡單深度神經(jīng)網(wǎng)絡(luò)。
在優(yōu)點(diǎn)方面，CNN可以借助最新研究成果來提取可學(xué)習(xí)特征、支持編碼位置的不變性(例如上圖中的狗，無論它位于圖片中哪個位置，都可以被歸類)、通過共享參數(shù)讓“數(shù)據(jù)高效”，以及在現(xiàn)代硬件上快速執(zhí)行及并行處理。在缺點(diǎn)和需要改進(jìn)的方面，CNN最顯著的問題是消耗了太多內(nèi)存、計算能力和能源。它不能對額外的對稱性進(jìn)行編碼，例如旋轉(zhuǎn)不變性(如果我們把圖2中的狗上下顛倒，它將不能辨認(rèn));它也不能可靠地量化預(yù)測的置信度，并且易于被輸入側(cè)的輕微改變所欺騙，如對抗樣本。我們正在研究各種技術(shù)以應(yīng)對這些挑戰(zhàn)，貝葉斯深度學(xué)習(xí)就是一項(xiàng)非常有前景的技術(shù)成果。
噪聲對AI來說可以是好事
貝葉斯深度學(xué)習(xí)是隨機(jī)的，這意味著在向神經(jīng)網(wǎng)絡(luò)的權(quán)重增加噪聲或隨機(jī)值的時候，它還會將噪聲傳播到激活節(jié)點(diǎn)。這些噪聲可以是好事，并且受到了人類大腦工作方式的啟發(fā)。貝葉斯深度學(xué)習(xí)的一個關(guān)鍵優(yōu)勢是通過壓縮和量化來降低神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度。量化可以減少參數(shù)的位寬(例如使用四位而非八位)，而壓縮則可裁剪模型中的激活節(jié)點(diǎn)數(shù)量，最終提升能效。如果想了解更多細(xì)節(jié)也可以觀看網(wǎng)絡(luò)研討會中更詳細(xì)的解讀。
貝葉斯深度學(xué)習(xí)不僅僅是一種理論——在研究中，我們已經(jīng)將其應(yīng)用在實(shí)際用例中。舉個例子，在一系列被標(biāo)記圖像的基準(zhǔn)數(shù)據(jù)點(diǎn)上，我們測量了ResNet-18的規(guī)模和精確度。ResNet-18是一種用于圖像分類的神經(jīng)網(wǎng)絡(luò)，且已針對規(guī)模而優(yōu)化。然后，我們比較了先進(jìn)裁剪方式和貝葉斯裁剪方式的精確度和壓縮比。結(jié)果顯示，貝葉斯裁剪裁的效果最好，其壓縮比為基準(zhǔn)數(shù)據(jù)的3倍，同時保持了基本相似的精確度。
AI的整體能效
未來，AI硬件將會如何發(fā)展?高效硬件的關(guān)鍵在于，它是從系統(tǒng)層面深入地理解真正的AI工作負(fù)載——換言之，真實(shí)環(huán)境中的應(yīng)用如何運(yùn)行在真正的終端上。Qualcomm致力于通過硬件、算法和軟件來實(shí)現(xiàn)這一點(diǎn)。
對于加速AI硬件，Qualcomm研究了既定任務(wù)下恰當(dāng)?shù)挠嬎慵軜?gòu)和內(nèi)存層級，并消除了降低利用率和阻礙性能達(dá)到理論峰值的瓶頸。Qualcomm專注于算法演進(jìn)，例如貝葉斯深度學(xué)習(xí)可以幫助優(yōu)化硬件。對于軟件工具，驍龍神經(jīng)處理引擎軟件開發(fā)包(SDK)等可以幫助實(shí)現(xiàn)硬件的內(nèi)置優(yōu)化，旨在提供每瓦時的高性能硬件。
從了解如何編寫應(yīng)用、理解普及的神經(jīng)網(wǎng)絡(luò)到檢測系統(tǒng)瓶頸，Qualcomm將這些經(jīng)驗(yàn)和心得反復(fù)地應(yīng)用于硬件設(shè)計。上述系統(tǒng)專長讓我們在硬件、算法和軟件的每一領(lǐng)域不斷探索，以提供高效的整體解決方案。正是對高能效AI的無限熱情驅(qū)動Qualcomm實(shí)現(xiàn)我們的愿景，即成就無處不在的終端側(cè)AI。
（轉(zhuǎn)載）
