編者按：
要滿足AI的巨大需求，讓AI成功的應(yīng)用到千行百業(yè)，AI產(chǎn)業(yè)需要提供用得起、用得好、用得放心的軟硬件系統(tǒng)和解決方案。由于AI的強(qiáng)行業(yè)賦能屬性，AI產(chǎn)業(yè)要能夠和行業(yè)知識結(jié)合，促進(jìn)真正的產(chǎn)業(yè)發(fā)展和生產(chǎn)力提升。當(dāng)然，AI產(chǎn)業(yè)要真正產(chǎn)生價值，推動社會發(fā)展，面臨著很多的挑戰(zhàn)。
導(dǎo)語
如今，人工智能技術(shù)持續(xù)快速發(fā)展，在圖像識別、語音識別、語義理解等諸多特定領(lǐng)域已超過人類能力。從AI算法到產(chǎn)品化落地存在巨大的挑戰(zhàn)，概括來說有8個鴻溝仍需相關(guān)工作者跨越。
01
模型獲取
AI算法層出不窮，同一領(lǐng)域甚至同一主題都有大量算法產(chǎn)生，然而算法是否能夠適應(yīng)或者如何適應(yīng)具體的應(yīng)用場景?首先，不同的行業(yè)數(shù)據(jù)導(dǎo)致模型的表現(xiàn)不同。訓(xùn)練數(shù)據(jù)的不同會導(dǎo)致模型表現(xiàn)出現(xiàn)很大的差異。其次，模型對于不同場景也有適配性問題。那么，如何在層出不窮的模型里面選擇合適的模型，是很多開發(fā)者面臨的第一個挑戰(zhàn)。而進(jìn)行大規(guī)模的模型測試篩選，則需要巨大的時間和算力成本。如何在大量個性化和碎片化的場景下快速獲得實際表現(xiàn)良好的模型，工作量巨大。若針對場景沉淀針對性的數(shù)據(jù)和算法，進(jìn)行最優(yōu)的積累，形成行業(yè)最佳實踐，則可以在一定程度上緩解相關(guān)壓力。
02
數(shù)據(jù)準(zhǔn)備
準(zhǔn)備場景化行業(yè)數(shù)據(jù)存在比較大的挑戰(zhàn)，需要進(jìn)行數(shù)據(jù)的采集、清洗、標(biāo)注、增強(qiáng)等工作依據(jù)準(zhǔn)確度需求的不同，數(shù)據(jù)量也不同。如何有針對性的設(shè)計數(shù)據(jù)處理流程，快速獲得高質(zhì)量的訓(xùn)練數(shù)據(jù)，加速適配業(yè)務(wù)場景，是AI算法面向場景訓(xùn)練需要解決的問題。最理想的數(shù)據(jù)集，不一定是最大的，而是能夠真實反映實際業(yè)務(wù)的數(shù)據(jù)分布，但覆蓋所有情況的數(shù)據(jù)集是不現(xiàn)實的，采集的樣本或多或少都有一定的局限性。如何避免人為的局限和錯誤，是AI數(shù)據(jù)準(zhǔn)備必須要解決的問題。
03
模型訓(xùn)練
在確保數(shù)據(jù)質(zhì)量之后，還要進(jìn)行復(fù)雜的模型訓(xùn)練，而對于模型參數(shù)的調(diào)整，經(jīng)常出現(xiàn)困難。復(fù)雜的訓(xùn)練過程和調(diào)優(yōu)過程，將大量的傳統(tǒng)行業(yè)開發(fā)者擋在門外。同時，算法在業(yè)務(wù)場景內(nèi)的適應(yīng)性測試和調(diào)整是復(fù)雜的。
04
準(zhǔn)確度驗證
訓(xùn)練好的模型在業(yè)務(wù)場景中的表現(xiàn)，需要在完整的業(yè)務(wù)體系中完成驗證。模型的泛化能力，通常在實際場景里會受到極大的挑戰(zhàn)。由于測試環(huán)境和實際環(huán)境的不同，傳感器數(shù)據(jù)會受到環(huán)境影響產(chǎn)生不同的分布，進(jìn)而可能影響模型的表現(xiàn)能力。針對復(fù)雜環(huán)境進(jìn)行適應(yīng)性的精調(diào)，是阻礙算法快速落地的因素之一。尤其是某些難例，在訓(xùn)練集沒有出現(xiàn)的情況，同樣會導(dǎo)致模型的泛化問題。
05
行業(yè)應(yīng)用開發(fā)
AI算法具有強(qiáng)的行業(yè)屬性，必須作為行業(yè)應(yīng)用的一部分，和行業(yè)知識結(jié)合，才能更好的發(fā)揮價值。AI算法所對應(yīng)的模型需要接收各種輸入數(shù)據(jù)，并且由AI計算系統(tǒng)提供的各種形式的軟硬件環(huán)境來承載。不同的輸入數(shù)據(jù)類型、格式、速率、協(xié)議、接口形態(tài)等，都會對AI的應(yīng)用開發(fā)系統(tǒng)產(chǎn)生整合要求。而面對多樣化數(shù)據(jù)所需要的多種處理架構(gòu)，也會帶來異構(gòu)算力整合的問題。
開發(fā)效率是影響AI在行業(yè)場景落地的重要因素之一。AI計算產(chǎn)業(yè)要能夠給開發(fā)者提供高效的開發(fā)體系和工具，提供完善的生態(tài)環(huán)境以及豐富的資源支持，尤其針對傳統(tǒng)行業(yè)的開發(fā)者，要能夠?qū)?fù)雜的AI開發(fā)過程簡單化，從而使開發(fā)者更關(guān)注行業(yè)場景的問題解決，從而快速推進(jìn)行業(yè)對AI系統(tǒng)的適配。
06
NPU性能優(yōu)化
應(yīng)用性能是影響行業(yè)發(fā)展的重要問題。AI算力需要能夠真正的轉(zhuǎn)化為生產(chǎn)力，其實際的運(yùn)行性能將決定系統(tǒng)最終的性價比和業(yè)務(wù)執(zhí)行能力。復(fù)雜的異構(gòu)優(yōu)化體系，是計算系統(tǒng)所需要克服的挑戰(zhàn)。
07
業(yè)務(wù)流程監(jiān)控
如何確保AI系統(tǒng)在業(yè)務(wù)環(huán)境的持續(xù)準(zhǔn)確高效運(yùn)行，是行業(yè)應(yīng)用所需要關(guān)注的問題。隨著業(yè)務(wù)場景和環(huán)境的變化，傳感器數(shù)據(jù)和環(huán)境數(shù)據(jù)會產(chǎn)生偏移，這些偏移對于行業(yè)AI應(yīng)用的準(zhǔn)確度會產(chǎn)生不可忽視的影響，尤其是高精度的場景。AI業(yè)務(wù)系統(tǒng)要求能夠及時發(fā)現(xiàn)這些準(zhǔn)確度影響的問題和場景，并且能夠提供持續(xù)算法更新和增量學(xué)習(xí)等能力。
08
適配開發(fā)
面對不同的業(yè)務(wù)場景，通常需要以服務(wù)化和API的形式來封裝AI業(yè)務(wù)，為上層應(yīng)用提供較好的接口。但是，由于場景的復(fù)雜性，開發(fā)和維護(hù)對應(yīng)的API和服務(wù)是現(xiàn)實的挑戰(zhàn)。如何構(gòu)建統(tǒng)一的服務(wù)架構(gòu)和API封裝，以適配不同場景的實際業(yè)務(wù)化運(yùn)行需求，同樣存在困難。部署AI計算系統(tǒng)到實際的業(yè)務(wù)系統(tǒng)中，也面臨著挑戰(zhàn)。不同的行業(yè)，所采用的操作系統(tǒng)、基礎(chǔ)軟件、通信系統(tǒng)、存儲系統(tǒng)等，都會出現(xiàn)差異，隨之帶來碎片化的解決方案，嚴(yán)重影響到應(yīng)用開發(fā)的效率和成本。在差異化的軟硬件體系中，使用統(tǒng)一的應(yīng)用開發(fā)體系，水平整合技術(shù)棧，增強(qiáng)對于底層系統(tǒng)的抽象能力，建立標(biāo)準(zhǔn)和統(tǒng)一的平臺及接口體系，也是AI行業(yè)應(yīng)用開發(fā)的關(guān)鍵。所以，在設(shè)計具體場景的AI業(yè)務(wù)軟件系統(tǒng)時，所需要考慮的適應(yīng)性、可裁剪性、可伸縮性等細(xì)節(jié)特性要成倍增加。同時在設(shè)計硬件方案時，需要考慮到各種嚴(yán)苛條件下，系統(tǒng)的可靠性、可服務(wù)性以及對整體軟硬件系統(tǒng)的性能影響。
結(jié)語
不難看出，當(dāng)AI技術(shù)進(jìn)階到行業(yè)深水區(qū)，需要使能更多場景和設(shè)備時，AI開發(fā)者面臨的將是一個規(guī)?；南到y(tǒng)性設(shè)計問題，而不再僅僅是單純的模型和業(yè)務(wù)軟件開發(fā)。
來源：IT168
編輯：阿里云研究中心
（轉(zhuǎn)載）
