隨著氣候預(yù)測(cè)、氣候模擬、智慧氣象、并行計(jì)算集群、氣象大數(shù)據(jù)平臺(tái)、高性能數(shù)值計(jì)算、氣象高性能計(jì)算集群的發(fā)展，人類(lèi)步入全新的人工智能大數(shù)據(jù)時(shí)代。
“雷聲大雨點(diǎn)小”“久晴大霧必陰,久雨大霧必晴”……自古以來(lái)，人們從云卷云舒、風(fēng)停雨歇中學(xué)會(huì)了觀天象，并將這些經(jīng)驗(yàn)用于出行、農(nóng)事活動(dòng)中。進(jìn)入現(xiàn)代社會(huì)，天文學(xué)、流體力學(xué)等學(xué)科的快速發(fā)展，氣象站、氣象氣球和衛(wèi)星等工具的利用，人類(lèi)對(duì)氣象的理解邁進(jìn)了新的臺(tái)階。
對(duì)于如何增強(qiáng)氣象科技自主創(chuàng)新能力，賦能高質(zhì)量發(fā)展。有專(zhuān)業(yè)人士指出一方面是利用人工智能、大數(shù)據(jù)等技術(shù)把氣象服務(wù)做得更加精細(xì)化、準(zhǔn)確化;另一方面是創(chuàng)新行業(yè)解決方案，挖掘更多行業(yè)或場(chǎng)景的氣象需求，讓氣象服務(wù)更加緊密結(jié)合生產(chǎn)生活。
大數(shù)據(jù)如何滿足
未來(lái)氣象預(yù)報(bào)的發(fā)展
超級(jí)計(jì)算機(jī)、大數(shù)據(jù)應(yīng)用將能夠滿足未來(lái)氣象預(yù)報(bào)在三個(gè)關(guān)鍵領(lǐng)域的需求：
管理和利用龐大數(shù)據(jù)集
環(huán)境數(shù)據(jù)的數(shù)據(jù)量和多樣性將以指數(shù)形式成倍增加，將對(duì)基礎(chǔ)設(shè)施管理和存儲(chǔ)這些數(shù)據(jù)提出極大的需求，也要求更大計(jì)算能力模擬使用。這也為公立和私營(yíng)機(jī)構(gòu)研究人員專(zhuān)業(yè)化服務(wù)提供了新機(jī)遇。
提高模型的分辨率
高分辨率模型是一個(gè)關(guān)鍵因素，可以更好地評(píng)估長(zhǎng)期氣候系統(tǒng)狀態(tài)，提高氣象預(yù)報(bào)能力，特別是對(duì)災(zāi)害性天氣的預(yù)報(bào)能力。美國(guó)國(guó)家大氣研究中心和大學(xué)的研究人員使用超級(jí)計(jì)算機(jī)對(duì)于颶風(fēng)的模擬，已經(jīng)提高到500米分辨率，相當(dāng)于幾個(gè)街區(qū)的預(yù)報(bào)。
解決技術(shù)障礙
鑒于天氣建模和分析變得更加數(shù)據(jù)密集型，需要更大計(jì)算能力，研究人員必須更加關(guān)注性能瓶頸，如內(nèi)存、I / O、互連延遲和帶寬。天氣模擬需要成千上萬(wàn)微處理器并行運(yùn)算，突破硬件和軟件的可擴(kuò)展性限制。此外，可擴(kuò)展的操作系統(tǒng)、編譯器和應(yīng)用程序庫(kù)正在發(fā)揮作用。最終，底層技術(shù)基礎(chǔ)設(shè)施必須緊密集成，支持模擬和分析工作流程。
大數(shù)據(jù)疊加AI算法
天氣實(shí)現(xiàn)分鐘即、公里級(jí)預(yù)報(bào)
在過(guò)去，全球廣泛采用的天氣預(yù)報(bào)模式是數(shù)值模擬法，通過(guò)實(shí)驗(yàn)室內(nèi)的大型計(jì)算機(jī)作數(shù)值計(jì)算，用物理方程表達(dá)天氣演變，從而預(yù)測(cè)一段時(shí)間內(nèi)大氣運(yùn)動(dòng)狀態(tài)和氣象。盡管很長(zhǎng)一段時(shí)間的天氣預(yù)測(cè)都是依靠數(shù)值模擬法，但是數(shù)值模擬由于精準(zhǔn)度和準(zhǔn)確率有限，慢慢達(dá)到了瓶頸，難以滿足現(xiàn)代社會(huì)的發(fā)展需求。
中國(guó)氣象局高級(jí)工程師卡贊表示：天氣預(yù)報(bào)和人工智能有著天然耦合的關(guān)系。天氣預(yù)報(bào)需要大量的、多種多樣的資料，人工智能天生就是處理大數(shù)據(jù)的工具;現(xiàn)有資料的時(shí)空數(shù)據(jù)密度不夠，人工智能具有對(duì)不完全不確定信息的推斷能力;此外人工智能還可以總結(jié)專(zhuān)家的知識(shí)經(jīng)驗(yàn)，提高平均預(yù)測(cè)水平以及利用統(tǒng)計(jì)與數(shù)值模式中無(wú)法利用的抽象預(yù)報(bào)知識(shí)等。
人工智能預(yù)測(cè)主要的方法是用大量的訓(xùn)練數(shù)據(jù)加上人工智能模型，通過(guò)數(shù)據(jù)進(jìn)行計(jì)算優(yōu)化的方法，可以和數(shù)值模擬進(jìn)行很好的互補(bǔ)。
直接采用端到端的AI技術(shù)，通過(guò)長(zhǎng)時(shí)間收集到的雷達(dá)云圖運(yùn)動(dòng)的時(shí)間序列數(shù)據(jù)及人工智能和模式數(shù)據(jù)的融合，進(jìn)行預(yù)測(cè)云在未來(lái)移動(dòng)的方向、下雨積雨云運(yùn)動(dòng)的方向等。
天氣是一個(gè)混沌系統(tǒng)，從現(xiàn)有技術(shù)看，不可能實(shí)現(xiàn)100%準(zhǔn)確，但人工智能、大數(shù)據(jù)等新興技術(shù)的加入，使得預(yù)報(bào)結(jié)果與真實(shí)情況之間不斷接近，目前已可實(shí)現(xiàn)公里級(jí)、分鐘級(jí)的格點(diǎn)化天氣預(yù)報(bào)。
通過(guò)人工智能和大數(shù)據(jù)的加持，智慧氣象已經(jīng)在各個(gè)領(lǐng)域發(fā)揮作用，其優(yōu)勢(shì)也逐漸顯現(xiàn)。與傳統(tǒng)氣象預(yù)測(cè)手段相比，人工智能具有數(shù)據(jù)處理能力更強(qiáng)、預(yù)測(cè)準(zhǔn)確性更高、精細(xì)化程度在空間維度達(dá)到公里級(jí)甚至百米級(jí)，時(shí)間維度達(dá)到分鐘級(jí)、并與其他的生產(chǎn)生活相關(guān)的指數(shù)等相結(jié)合。
用好預(yù)報(bào)工具
“ 氣象+” 賦能經(jīng)濟(jì)社會(huì)發(fā)展
人們?nèi)粘５纳a(chǎn)生活與天氣變化之間的關(guān)系密切，而災(zāi)害性天氣對(duì)農(nóng)業(yè)、交通、經(jīng)濟(jì)、生活等方面影響更加顯著。
國(guó)家應(yīng)急管理部發(fā)布的2021年全國(guó)自然災(zāi)害基本情況數(shù)據(jù)顯示，2021年全年各種自然災(zāi)害共造成1.07億人次受災(zāi);倒塌房屋16.2萬(wàn)間，不同程度損壞198.1萬(wàn)間;農(nóng)作物受災(zāi)面積11739千公頃;直接經(jīng)濟(jì)損失3340.2億元。
如何盡量規(guī)避天氣風(fēng)險(xiǎn)并利用好天氣為經(jīng)濟(jì)社會(huì)發(fā)展服務(wù)成為當(dāng)今社會(huì)的一道“必答題”。國(guó)務(wù)院印發(fā)的《氣象高質(zhì)量發(fā)展綱要(2022-2035年)》提出，要筑牢氣象防災(zāi)減災(zāi)第一道防線，提高氣象災(zāi)害監(jiān)測(cè)預(yù)報(bào)預(yù)警能力;提高氣象服務(wù)經(jīng)濟(jì)高質(zhì)量發(fā)展水平，實(shí)施氣象為農(nóng)服務(wù)提質(zhì)增效行動(dòng)、海洋強(qiáng)國(guó)氣象保障行動(dòng)、交通強(qiáng)國(guó)氣象保障行動(dòng)、“氣象+” 賦能行動(dòng)。
在國(guó)家層面，氣象科技賦能高質(zhì)量發(fā)展要把氣象技術(shù)觀測(cè)設(shè)備，衛(wèi)星觀測(cè)站基礎(chǔ)設(shè)備能力提升。對(duì)氣象服務(wù)企業(yè)來(lái)說(shuō)，利用好這些設(shè)備和技術(shù)，創(chuàng)新行業(yè)解決方案，賦能各個(gè)需求場(chǎng)景和行業(yè)，更深入的為經(jīng)濟(jì)社會(huì)發(fā)展服務(wù)。
在農(nóng)業(yè)領(lǐng)域，農(nóng)業(yè)是國(guó)民經(jīng)濟(jì)的基礎(chǔ)，“三農(nóng)”工作與氣象工作息息相關(guān)。墨跡天氣負(fù)責(zé)人黃渤海表示“在農(nóng)業(yè)種植決策上，通過(guò)預(yù)測(cè)天氣，農(nóng)民可以選擇合適的時(shí)間進(jìn)行春播秋收，通過(guò)判斷整年的氣候情況和水土選擇合適的作物種植，增加產(chǎn)量。耕作后，農(nóng)民可以通過(guò)天氣預(yù)報(bào)進(jìn)行防災(zāi)減災(zāi)，減少損失。此外，通過(guò)預(yù)測(cè)降水情況還可以幫助農(nóng)民減少灌溉成本，提升對(duì)水資源的利用效率?！?/FONT>
藍(lán)海大腦氣象大數(shù)據(jù)平臺(tái)
項(xiàng)目背景
某省是我國(guó)受臺(tái)風(fēng)、暴雨、干旱、寒潮、大風(fēng)、冰雹、凍害、龍卷風(fēng)等災(zāi)害影響最嚴(yán)重地區(qū)之一。在氣象災(zāi)害相對(duì)頻發(fā)的情況下，某省氣象局在服務(wù)經(jīng)濟(jì)社會(huì)發(fā)展中作用日益突出，提高氣象觀測(cè)、數(shù)據(jù)共享和精細(xì)化預(yù)報(bào)水平變得至關(guān)重要。通過(guò)與藍(lán)海大腦合作，擺脫原有IT基礎(chǔ)構(gòu)架對(duì)于氣象工作的限制，實(shí)施彈性的統(tǒng)一架構(gòu)，實(shí)現(xiàn)了高水平的氣象觀測(cè)、預(yù)測(cè)和服務(wù)業(yè)務(wù)。
客戶需求
由于天氣預(yù)報(bào)模擬具有計(jì)算量大、通訊密集、I/O要求高和規(guī)范的模式系統(tǒng)化集成等特點(diǎn)，對(duì)高性能計(jì)算系統(tǒng)的計(jì)算性能有著超高的要求，具體要求表現(xiàn)如下：
● 計(jì)算量大
氣象預(yù)報(bào)本身具有時(shí)效性，要求定時(shí)定點(diǎn)自動(dòng)運(yùn)行，無(wú)需人工干預(yù)。一般每天在固定的2-4個(gè)時(shí)段運(yùn)行，每個(gè)時(shí)段2小時(shí)內(nèi)運(yùn)行完。因此，必須使用計(jì)算性能卓越的高性能計(jì)算系統(tǒng)來(lái)進(jìn)行并行計(jì)算。
● 通訊密集
由于采用并行計(jì)算，因此各CPU間的通訊量很大。主要體現(xiàn)在WRF各計(jì)算域間的通訊及各類(lèi)不同數(shù)據(jù)劃分間的通訊。因此，要求本高性能計(jì)算系統(tǒng)在具有高性能計(jì)算的同時(shí)，兼具高性能的通訊網(wǎng)絡(luò)。
● I/O要求高
由于涉及大量的用戶和大量的小文件讀寫(xiě)，氣象模式對(duì)整個(gè)系統(tǒng)的IOPS性能有較高要求，存儲(chǔ)系統(tǒng)的穩(wěn)定性和可用性對(duì)整個(gè)業(yè)務(wù)系統(tǒng)的運(yùn)行至關(guān)重要，要求存儲(chǔ)系統(tǒng)具有故障自愈功能。另外，考慮到氣象數(shù)據(jù)的周期性訪問(wèn)特點(diǎn)，需要支持基于策略的分級(jí)存儲(chǔ)功能。
● 模式系統(tǒng)集成化
從軟件的處理流程上看，一般分為前處理、主模式和后處理。整個(gè)模式系統(tǒng)從前處理到主模式再到后處理，需要系統(tǒng)具有較高的穩(wěn)健性，所以優(yōu)秀的模式軟件應(yīng)用專(zhuān)家支持、硬件級(jí)的系統(tǒng)技術(shù)支持，對(duì)預(yù)報(bào)模式的良好使用也是關(guān)鍵。
解決方案
藍(lán)海大腦依托接收的常規(guī)氣象觀探測(cè)資料、氣象衛(wèi)星資料、雷達(dá)資料、數(shù)值預(yù)報(bào)產(chǎn)品等多源數(shù)據(jù)，基于定量反演、機(jī)器學(xué)習(xí)、云計(jì)算、云存儲(chǔ)、大數(shù)據(jù)分析、 快速循環(huán)同化、虛擬現(xiàn)實(shí)等前沿技術(shù)，研發(fā)了具備多元化高性能算力、精準(zhǔn)化短臨預(yù)報(bào)、一站多源數(shù)據(jù)融合及多樣化氣象服務(wù)等優(yōu)勢(shì)的氣象大數(shù)據(jù)平臺(tái)，面向整個(gè)氣象行業(yè)提供信息化系統(tǒng)頂層設(shè)計(jì)、 軟件研發(fā)應(yīng)用、數(shù)據(jù)共享服務(wù)等，同時(shí)也向道路、航空、物流、農(nóng)業(yè)等行業(yè)領(lǐng)域開(kāi)展針對(duì)性的精準(zhǔn)氣象預(yù)報(bào)保障服務(wù)。
藍(lán)海大腦為滿足客戶需求，結(jié)合行業(yè)特點(diǎn)從計(jì)算節(jié)點(diǎn)、網(wǎng)絡(luò)、存儲(chǔ)、功耗、擴(kuò)展、散熱等方面出發(fā)，提出完善的解決方案。
● 計(jì)算節(jié)點(diǎn)
采用高性能英特爾酷睿系列處理器，計(jì)算節(jié)點(diǎn)采用雙路混搭方案。四路計(jì)算節(jié)點(diǎn)依靠其突出的計(jì)算能力與內(nèi)存容量，可在一臺(tái)機(jī)器上完成中小模式的處理分析，減少資料預(yù)處理、計(jì)算、分析的時(shí)間，提高計(jì)算效率。
● 高速網(wǎng)絡(luò)
采用高性能專(zhuān)用高速I(mǎi)B網(wǎng)絡(luò)，將計(jì)算節(jié)點(diǎn)、管理節(jié)點(diǎn)、登錄節(jié)點(diǎn)全線速互聯(lián)，保證集群通訊網(wǎng)絡(luò)的高性能。并將NAS存儲(chǔ)通過(guò)萬(wàn)兆連入高速網(wǎng)絡(luò)，配合集群并行文件系統(tǒng)，實(shí)現(xiàn)全部節(jié)點(diǎn)的數(shù)據(jù)共享。
● 存儲(chǔ)系統(tǒng)
綜合以往存儲(chǔ)硬件解決方案，系統(tǒng)應(yīng)用要求存儲(chǔ)設(shè)備具備的特點(diǎn)及藍(lán)海大腦在多年高性能計(jì)算領(lǐng)域的實(shí)施經(jīng)驗(yàn)，充分滿足用戶現(xiàn)階段使用及未來(lái)擴(kuò)展需求。
● 低功耗
解決方案不僅強(qiáng)調(diào)整體運(yùn)算效率，同時(shí)強(qiáng)調(diào)單位體積內(nèi)的計(jì)算能力以及單位能耗可提供的計(jì)算能力。
● 可擴(kuò)展
計(jì)算系統(tǒng)采用機(jī)架式服務(wù)器，既可保證節(jié)點(diǎn)內(nèi)的擴(kuò)展性，又可保證整個(gè)集群的橫向擴(kuò)展性。總體上，滿足用戶對(duì)未來(lái)集群的擴(kuò)展需求。
● 液冷散熱
藍(lán)海大腦液冷服務(wù)器 HD210 H系列突破傳統(tǒng)風(fēng)冷散熱模式，采用風(fēng)冷和液冷混合散熱模式——服務(wù)器內(nèi)主要熱源 CPU 利用液冷冷板進(jìn)行冷卻，其余熱源仍采用風(fēng)冷方式進(jìn)行冷卻。通過(guò)這種混合制冷方式，可大幅提升服務(wù)器散熱效率，同時(shí)，降低主要熱源 CPU 散熱所耗電能，并增強(qiáng)服務(wù)器可靠性。經(jīng)檢測(cè)，采用液冷服務(wù)器配套基礎(chǔ)設(shè)施解決方案的數(shù)據(jù)中心年均 PUE 值可降低至 1.2 以下。
用戶收益
● 資源重新整合，實(shí)現(xiàn)更好的業(yè)務(wù)連續(xù)性
通過(guò)應(yīng)用的分區(qū)分域部署，顯著提高關(guān)鍵應(yīng)用程序的性能、穩(wěn)定性和容量，從而更好的保障業(yè)務(wù)連續(xù)性。
● 氣象信息分發(fā)服務(wù)更高效
幫助客戶建立更高效、及時(shí)的氣象信息分發(fā)服務(wù)，以減輕極端天氣事件對(duì)某省社會(huì)和經(jīng)濟(jì)結(jié)構(gòu)的影響。
● 數(shù)據(jù)安全性提升，人力投入降低
整合后的架構(gòu)將加強(qiáng)災(zāi)難恢復(fù)計(jì)劃，降低管理復(fù)雜性和成本，解放氣象局的團(tuán)隊(duì)，使其專(zhuān)注于更具戰(zhàn)略性的任務(wù)。
● 運(yùn)營(yíng)敏捷性提升，快速響應(yīng)資源請(qǐng)求
穩(wěn)定、安全的新存儲(chǔ)，可有效地管理和保存大量雷達(dá)數(shù)據(jù)。統(tǒng)一的基礎(chǔ)架構(gòu)將有助于優(yōu)化運(yùn)營(yíng)敏捷性,使氣象局能夠快速響應(yīng)開(kāi)發(fā)團(tuán)隊(duì)對(duì)資源的請(qǐng)求。
（轉(zhuǎn)載）
