面對(duì)智算應(yīng)用的大規(guī)模部署，用戶(hù)的IT開(kāi)支正在向GPU傾斜。在大模型訓(xùn)練的成本構(gòu)成中，硬件投資包括算力、運(yùn)力、存力，其中算力相關(guān)硬件投資占比80%。一個(gè)千億級(jí)參數(shù)的大模型，往往需要上萬(wàn)顆GPU的算力，可在實(shí)際訓(xùn)練過(guò)程中，GPU的平均利用率卻不足50%。制約因素包括大模型參數(shù)需要頻繁調(diào)優(yōu)、訓(xùn)練中斷后恢復(fù)周期長(zhǎng)、數(shù)據(jù)加載速度慢等等。如何確保智算系統(tǒng)高效運(yùn)行?加速算力的同時(shí)，提升數(shù)據(jù)供給能力，或許是當(dāng)下應(yīng)對(duì)智算挑戰(zhàn)的最優(yōu)解。
大模型需要什么樣的存儲(chǔ)性能?
一次完整的AI大模型訓(xùn)練流程，通常分為數(shù)據(jù)集準(zhǔn)備、模型開(kāi)發(fā)、模型訓(xùn)練、模型推理幾個(gè)階段。其中每個(gè)階段對(duì)數(shù)據(jù)存儲(chǔ)的性能需求并不十分一致，屬于混合復(fù)雜異構(gòu)的工作負(fù)載，要求數(shù)據(jù)存儲(chǔ)系統(tǒng)提供強(qiáng)大的綜合性能表現(xiàn)。
舉例來(lái)說(shuō)，數(shù)據(jù)集準(zhǔn)備階段，涉及到不同終端、不同來(lái)源的大量數(shù)據(jù)，來(lái)源豐富且規(guī)模巨大，這些數(shù)據(jù)都需要存儲(chǔ)到系統(tǒng)中，需要數(shù)據(jù)存儲(chǔ)提供較大的帶寬性能和高吞吐能力;此外，在長(zhǎng)時(shí)間訓(xùn)練模型時(shí)，需要定期將階段性的訓(xùn)練成果寫(xiě)入硬盤(pán)，這個(gè)過(guò)程即Checkpoint，這個(gè)過(guò)程對(duì)存儲(chǔ)系統(tǒng)的小文件讀寫(xiě)性能和帶寬性能都要求非常高，如果存儲(chǔ)系統(tǒng)性能不足，就會(huì)出現(xiàn)加載效率低，GPU空等的情況，從而拉低整個(gè)訓(xùn)練效率。
強(qiáng)悍存力，提升智算系統(tǒng)算力利用率
基于新一代傲擎平臺(tái)的新華三AI數(shù)據(jù)存儲(chǔ)平臺(tái)H3C UniStor Polaris X20000系列，通過(guò)對(duì)存儲(chǔ)軟件棧進(jìn)行重構(gòu)和優(yōu)化，大幅精簡(jiǎn)系統(tǒng)無(wú)效IO，優(yōu)化數(shù)據(jù)讀寫(xiě)路徑，單節(jié)點(diǎn)性能就可實(shí)現(xiàn)80GB帶寬和200萬(wàn)IOPS，大幅提升不同階段的數(shù)據(jù)加載效率，可以減少30%的訓(xùn)練等待時(shí)間，保障智算系統(tǒng)的有效算力供給。
Polaris X20000系列通過(guò)多項(xiàng)技術(shù)革新提升在智算場(chǎng)景下的性能體驗(yàn)，包括：
元數(shù)據(jù)性能優(yōu)化
對(duì)高性能智算存儲(chǔ)來(lái)說(shuō)，元數(shù)據(jù)管理是至關(guān)重要的部分，將直接影響到文件系統(tǒng)的性能、可擴(kuò)展性和可靠性。Polaris X20000系列創(chuàng)新性地針對(duì)分布式kv數(shù)據(jù)庫(kù)進(jìn)行了優(yōu)化，來(lái)支撐整個(gè)元數(shù)據(jù)讀寫(xiě)需求;同時(shí)設(shè)計(jì)了多級(jí)的元數(shù)據(jù)緩存，對(duì)元數(shù)據(jù)緩存結(jié)構(gòu)做了針對(duì)性精簡(jiǎn)，減少內(nèi)存占用，對(duì)元數(shù)據(jù)訪(fǎng)問(wèn)具有極大的加速效果。此外，采取多MDS、元數(shù)據(jù)打散、元數(shù)據(jù)協(xié)程化免鎖等多種元數(shù)據(jù)性能優(yōu)化手段，提升Polaris X20000系列的性能表現(xiàn)。
CPU智能分組
Polaris X20000系列針對(duì)AI/HPC 場(chǎng)景做了深度分析和軟件優(yōu)化設(shè)計(jì)，對(duì)CPU實(shí)現(xiàn)智能分組、綁核處理，實(shí)現(xiàn)專(zhuān)核專(zhuān)用，避免資源搶占，減少核間調(diào)度，最大程度發(fā)揮CPU性能。
高性能EPC客戶(hù)端
同時(shí)，通過(guò)獨(dú)有的高性能EPC客戶(hù)端，Polaris X20000系列可同時(shí)連接多個(gè)存儲(chǔ)節(jié)點(diǎn)，對(duì)上層應(yīng)用提供標(biāo)準(zhǔn)POSIX和MPI-IO接口，獲得更好的兼容性和更優(yōu)的性能，多存儲(chǔ)節(jié)點(diǎn)實(shí)現(xiàn)IO級(jí)負(fù)載均衡，最大程度發(fā)揮單節(jié)點(diǎn)性能。
AI訓(xùn)練綜合負(fù)載能力提升
高帶寬：通過(guò)RDMA、內(nèi)存零拷貝、EPC、400G網(wǎng)絡(luò)(結(jié)合硬件交換機(jī))提升系統(tǒng)并行訪(fǎng)問(wèn)能力，實(shí)現(xiàn)高帶寬性能;
高IOPS：通過(guò)Dcache技術(shù)，在小IO讀寫(xiě)時(shí)，先寫(xiě)入高速緩存層，并通過(guò)ROW寫(xiě)時(shí)重定向快照，將多個(gè)小IO聚合成為大IO再一次性落盤(pán)，提升IOPS性能表現(xiàn);
混合負(fù)載優(yōu)化：在 EC邏輯層之上引入加速引擎層，對(duì)不同IO實(shí)現(xiàn)分組與流控調(diào)度，可同時(shí)滿(mǎn)足大IO高帶寬、小IO高IOPS與低時(shí)延的“混合負(fù)載”需求。
當(dāng)前，大模型參數(shù)從千億向萬(wàn)億演進(jìn)，更大的模型參數(shù)需要更大規(guī)模的算力供給。新華三基于對(duì)智算場(chǎng)景的深入理解，對(duì)數(shù)據(jù)存儲(chǔ)產(chǎn)品實(shí)現(xiàn)持續(xù)優(yōu)化。面向未來(lái)，新華三集團(tuán)將秉持“精耕務(wù)實(shí)，為時(shí)代賦智慧”的理念，不斷深化“內(nèi)生智能·成就智慧存儲(chǔ)”技術(shù)戰(zhàn)略，充分發(fā)揮自身在數(shù)字領(lǐng)域的創(chuàng)新優(yōu)勢(shì)，持續(xù)推動(dòng)產(chǎn)品的智能進(jìn)化，攜手百行百業(yè)激發(fā)數(shù)據(jù)潛能，邁向智能新未來(lái)。
（來(lái)源：新華三）
