這幾天，世界人工智能大會(huì)成為了行業(yè)中當(dāng)之無(wú)愧的流量焦點(diǎn)，而媒體與分析師對(duì)這屆大會(huì)的關(guān)注點(diǎn)也各有不同。
我們發(fā)現(xiàn)，世界人工智能大會(huì)來(lái)到第四屆，大家關(guān)心的不再僅僅是基礎(chǔ)算法創(chuàng)新以及酷炫的黑科技應(yīng)用。AI相關(guān)的產(chǎn)業(yè)基礎(chǔ)設(shè)施、規(guī)模化落地方案的關(guān)注度逐步增強(qiáng)。大家更多把AI視作一個(gè)產(chǎn)業(yè)結(jié)構(gòu)，而非單單一種技術(shù)來(lái)加以討論。
說(shuō)到AI的產(chǎn)業(yè)會(huì)基礎(chǔ)設(shè)施，就不能不提到超算。無(wú)論對(duì)于科研、行業(yè)，甚至區(qū)域發(fā)展與國(guó)家戰(zhàn)略來(lái)說(shuō)，超算都是AI與相關(guān)新一代信息技術(shù)的核心。而隨著AI等技術(shù)帶來(lái)數(shù)據(jù)量大規(guī)模增長(zhǎng)、數(shù)據(jù)結(jié)構(gòu)多元化、數(shù)據(jù)分析任務(wù)復(fù)雜化，原本的HPC(高性能計(jì)算)體系也迎來(lái)了全新的變革與挑戰(zhàn)。HPC正在走向HPDA(高性能數(shù)據(jù)分析)的新方向，AI時(shí)代的超算體系正在從計(jì)算密集型轉(zhuǎn)向到數(shù)據(jù)密集型。
我們知道，人的聰明才智不僅來(lái)自反應(yīng)能力，還來(lái)源于對(duì)知識(shí)、記憶、經(jīng)驗(yàn)的準(zhǔn)確調(diào)取和應(yīng)用。當(dāng)AI要變得更聰明時(shí)，一定需要更強(qiáng)大的數(shù)據(jù)處理能力。數(shù)據(jù)密集型超算，可以說(shuō)是社會(huì)經(jīng)濟(jì)真正需要的AI大腦。
人腦中的記憶是存儲(chǔ)在神經(jīng)元當(dāng)中的，那么AI時(shí)代的超算大腦中，數(shù)據(jù)將要存儲(chǔ)在哪呢?
一場(chǎng)由數(shù)據(jù)密集型超算帶來(lái)的存儲(chǔ)變革正在發(fā)生。7月8日，在2021世界人工智能大會(huì)(WAIC2021)上，上海交通大學(xué)與華為公司聯(lián)合發(fā)布了數(shù)據(jù)密集型超算示范中心。這是雙方繼4月份聯(lián)合成立“高性能計(jì)算&存儲(chǔ)技術(shù)聯(lián)合創(chuàng)新中心”以來(lái)的又一重磅合作，開(kāi)創(chuàng)了產(chǎn)學(xué)研一體化推動(dòng)超算發(fā)展的全新模式。
讓我們以此為基礎(chǔ)來(lái)談一談：智能時(shí)代為什么必須發(fā)展數(shù)據(jù)密集型的“新超算”?與此同時(shí)，存儲(chǔ)產(chǎn)業(yè)又如何幫助“新超算”跨越數(shù)據(jù)裂谷?
智能時(shí)代，
數(shù)據(jù)密集型超算的產(chǎn)業(yè)需求
自疫情發(fā)生以來(lái)，全球無(wú)數(shù)國(guó)家和地區(qū)，相繼意識(shí)到了超算能力的重要性。在確診病例、尋找治療方法以及研發(fā)疫苗的過(guò)程中，病毒與蛋白質(zhì)解析能力至關(guān)重要。而相關(guān)工作就非常明顯地展現(xiàn)出了計(jì)算由計(jì)算密集型，向數(shù)據(jù)密集型轉(zhuǎn)化;由HPC向HPDA演進(jìn)的必要性。
病毒解析任務(wù)中，需要快速產(chǎn)生海量數(shù)據(jù)，并且其結(jié)構(gòu)復(fù)雜、數(shù)據(jù)形態(tài)多元。類似計(jì)算任務(wù)不僅考驗(yàn)計(jì)算能力，更考驗(yàn)全流程化的數(shù)據(jù)存放、調(diào)用、解析與再利用能力。如果僅僅是算得快，那么任務(wù)可能在數(shù)據(jù)的全流程循環(huán)中浪費(fèi)大量時(shí)間。而疫情面前，時(shí)間就是生命。
在AI進(jìn)入產(chǎn)業(yè)化周期的階段，類似問(wèn)題出現(xiàn)在各行業(yè)的超算需求中。自動(dòng)駕駛、油氣勘探、天文分析、工業(yè)數(shù)字化孿生，都清晰地指向數(shù)據(jù)密集型計(jì)算。
華為IT產(chǎn)品線解決方案設(shè)計(jì)部部長(zhǎng)陳默博士認(rèn)為，超算發(fā)展目前主要有6大趨勢(shì)：架構(gòu)集群化、計(jì)算異構(gòu)化、數(shù)據(jù)密集化、網(wǎng)絡(luò)IP化、運(yùn)營(yíng)自動(dòng)化和應(yīng)用容器化。這些趨勢(shì)的出現(xiàn)，不僅考驗(yàn)了超算本身的算力發(fā)展，還給超算的存儲(chǔ)體系帶來(lái)了一系列挑戰(zhàn)。比如說(shuō)：
1、超算對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)量與存儲(chǔ)類型快速增加：自動(dòng)駕駛、衛(wèi)星探測(cè)等任務(wù)帶來(lái)了數(shù)據(jù)量的幾何級(jí)飆升。而智慧城市、地質(zhì)勘探等行業(yè)帶來(lái)了大量非結(jié)構(gòu)化數(shù)據(jù)、混合類型數(shù)據(jù)的存在任務(wù)，這都對(duì)存儲(chǔ)體系產(chǎn)生了更高要求。
2、數(shù)據(jù)調(diào)用性能極大增加，要求存儲(chǔ)能力增強(qiáng)：HPDA形態(tài)下的超算體系，需要完成海量數(shù)據(jù)的短時(shí)間內(nèi)大量吞吐，這對(duì)存儲(chǔ)性能提出了挑戰(zhàn)。
3、產(chǎn)業(yè)智能化趨勢(shì)，要求存儲(chǔ)可靠性趨向極致：在生產(chǎn)場(chǎng)景中落地的超算，需要結(jié)果高度可靠，且不能出現(xiàn)重復(fù)，更不能持續(xù)故障。這要求存儲(chǔ)的可靠性極高，并具有強(qiáng)大的自我修復(fù)與診斷能力。
4、超算中心和數(shù)據(jù)中心融合：超算體系未來(lái)將承擔(dān)更多的數(shù)據(jù)服務(wù)與數(shù)據(jù)利用職能，這就要求數(shù)據(jù)在存算場(chǎng)景中反復(fù)流動(dòng)，快速循環(huán)，形成有效的數(shù)據(jù)湖場(chǎng)景。這將對(duì)現(xiàn)有存儲(chǔ)體系造成巨大的升級(jí)。
這些趨勢(shì)的存在和發(fā)展，意味著數(shù)據(jù)密集型超算必將建立在存儲(chǔ)能力的升級(jí)與進(jìn)化之上。海量存儲(chǔ)能力升級(jí)支撐數(shù)據(jù)密集型超算與HPDA趨勢(shì);超算升級(jí)又支撐了AI產(chǎn)業(yè)化發(fā)展。
這樣來(lái)看，今年我們希望在世界人工智能大會(huì)中找到的產(chǎn)業(yè)底座，一定蘊(yùn)藏在海量存儲(chǔ)體系當(dāng)中。
應(yīng)對(duì)HPDA挑戰(zhàn)，
需要存儲(chǔ)能力升級(jí)
為了應(yīng)對(duì)數(shù)據(jù)密集型超算中出現(xiàn)的一系列數(shù)據(jù)存算挑戰(zhàn)，華為推出了OceanStor Pacific存儲(chǔ)，在高密設(shè)計(jì)、應(yīng)對(duì)混合負(fù)載能力，以及多協(xié)議互通三大領(lǐng)域完成了創(chuàng)新，從而更準(zhǔn)確滿足海量、多種類數(shù)據(jù)的快速存算需求，助力超算體系升級(jí)。
我們可以具體來(lái)看一下這三大能力是如何解決數(shù)據(jù)密集型超算所遇到挑戰(zhàn)的。
首先，HPDA的核心挑戰(zhàn)就是海量數(shù)據(jù)的涌入，以及業(yè)務(wù)量的幾何級(jí)增長(zhǎng)，很快會(huì)造成機(jī)房空間不足、存儲(chǔ)成本高昂的問(wèn)題，相關(guān)用戶不能無(wú)限制投入成本和空間用以存放數(shù)據(jù)。為了解決這個(gè)問(wèn)題，華為推出了OeanStor Pacific高密專用硬件，基于全新的高密架構(gòu)設(shè)計(jì)提供更高的容量利用率，在有限的機(jī)房空間里存下更多數(shù)據(jù)。
其次，隨著AI產(chǎn)業(yè)化的推進(jìn)，超算體系中的一套存儲(chǔ)必須支持不同業(yè)務(wù)流程、產(chǎn)業(yè)環(huán)節(jié)的混合負(fù)載。以油氣勘探為例，過(guò)往數(shù)據(jù)采集、解釋、處理每個(gè)環(huán)節(jié)的業(yè)務(wù)能力對(duì)存儲(chǔ)的需求都不同，如果搭建多套存儲(chǔ)會(huì)造成大量遷移成本和安全風(fēng)險(xiǎn)。華為OceanStor Pacific推出了新一代分布式并行文件系統(tǒng)，從而應(yīng)對(duì)混合負(fù)載挑戰(zhàn)。
再有，數(shù)據(jù)密集型超算需要讓數(shù)據(jù)在其他環(huán)節(jié)、不同系統(tǒng)之間進(jìn)行復(fù)雜的循環(huán)流動(dòng)，這就需要存儲(chǔ)具備多協(xié)議互通能力。華為OeanStor Pacific具備業(yè)界領(lǐng)先的多協(xié)議互通能力，能夠?qū)崿F(xiàn)多個(gè)存儲(chǔ)服務(wù)同時(shí)訪問(wèn)一份數(shù)據(jù)，提高跨環(huán)節(jié)、跨系統(tǒng)的數(shù)據(jù)分析效率。
面向數(shù)據(jù)密集型超算的產(chǎn)業(yè)趨勢(shì)，華為也并不僅僅是提供市場(chǎng)需要的產(chǎn)品和技術(shù)，而是與科研界、產(chǎn)業(yè)界走到一起，聯(lián)手探索未來(lái)超算的更多可能性。比如上海交通大學(xué)與華為聯(lián)合打造的數(shù)據(jù)密集型超算示范中心。
產(chǎn)學(xué)研一體，探索超算下一幕
數(shù)據(jù)密集型超算的進(jìn)化，以及HPC向HPDA的演進(jìn)，都不是一家企業(yè)、一個(gè)產(chǎn)業(yè)鏈環(huán)節(jié)能夠完成的任務(wù)，而是需要這個(gè)領(lǐng)域中產(chǎn)學(xué)研各界高效協(xié)同，更準(zhǔn)確完成從基礎(chǔ)設(shè)施革新、技術(shù)創(chuàng)新到產(chǎn)業(yè)落地的一系列工程。
華為與上海交通大學(xué)聯(lián)手打造的數(shù)據(jù)密集型超算示范中心，就是一種有效的產(chǎn)學(xué)研一體化協(xié)作模式。華為OceanStor Pacific存儲(chǔ)對(duì)于HPDA的賦能與幫助，不應(yīng)該等待產(chǎn)業(yè)界慢慢探索發(fā)掘，而是應(yīng)該在有效的示范與引導(dǎo)下，確保行業(yè)用戶和超算建設(shè)方能夠準(zhǔn)確找到切入點(diǎn)，實(shí)現(xiàn)投入產(chǎn)出比最大化。
數(shù)據(jù)密集型超算示范中心就是這樣一個(gè)產(chǎn)學(xué)研一體化打造的示范項(xiàng)目，其具有兩大創(chuàng)新點(diǎn)，一是國(guó)內(nèi)高校建設(shè)的第一個(gè)ARM超算體系，二是在國(guó)內(nèi)高校首次踐行“數(shù)據(jù)密集型超算”的建設(shè)理念。圍繞數(shù)據(jù)密集型超算的建設(shè)理念，華為與上海交大緊密協(xié)作，持續(xù)投入了相關(guān)技術(shù)與應(yīng)用創(chuàng)新，并且在科研合作、人才培育等領(lǐng)域進(jìn)行生態(tài)化合作，以此來(lái)探索超算在智能時(shí)代的有效升級(jí)路徑。
回到存儲(chǔ)領(lǐng)域，華為OceanStor Pacific存儲(chǔ)為數(shù)據(jù)密集型超算示范中心提供了統(tǒng)一的數(shù)據(jù)底座，對(duì)異構(gòu)化算力實(shí)現(xiàn)了堅(jiān)實(shí)支撐，既確保了創(chuàng)新型的超算部署成功落地，同時(shí)還增強(qiáng)了結(jié)果驗(yàn)證能力，提升了用戶操作體驗(yàn)與運(yùn)行效率。
未來(lái)，數(shù)據(jù)密集型超算將在AI走入千行百業(yè)、探索技術(shù)邊界的進(jìn)程里起到中堅(jiān)作用。而相關(guān)的存儲(chǔ)能力則是眾多想象力的基礎(chǔ)。
我們?cè)诮衲甑氖澜缛斯ぶ悄艽髸?huì)中，不僅能夠看到對(duì)AI基礎(chǔ)設(shè)施的關(guān)注，甚至能看到“基礎(chǔ)設(shè)施的基礎(chǔ)設(shè)施”迎來(lái)了升級(jí)進(jìn)化。
基建是無(wú)數(shù)產(chǎn)業(yè)發(fā)展的靈魂，我們?cè)诟咚俟?、高鐵上見(jiàn)到的故事，正在AI、存儲(chǔ)中又一次上演著。
文章來(lái)源：風(fēng)辭遠(yuǎn) 腦極體
（轉(zhuǎn)載）
