需求與挑戰(zhàn) ·
習(xí)近平總書(shū)記在黨的十九大報(bào)告中提出“推動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合”，進(jìn)一步突出了大數(shù)據(jù)作為國(guó)家基礎(chǔ)性戰(zhàn)略性資源的重要地位。掌握豐富的高價(jià)值數(shù)據(jù)資源日益成為搶占未來(lái)發(fā)展主動(dòng)權(quán)的前提和保障。
數(shù)據(jù)作為越來(lái)越重要的生產(chǎn)要素，將成為比土地、石油、煤礦等更為核心的生產(chǎn)資源。如何加工利用數(shù)據(jù)，釋放數(shù)據(jù)價(jià)值，實(shí)現(xiàn)企業(yè)的數(shù)字化轉(zhuǎn)型，是當(dāng)前企業(yè)在數(shù)據(jù)資產(chǎn)管理中面臨的重要課題。
我們來(lái)看一個(gè)工業(yè)企業(yè)的數(shù)據(jù)治理的需求。已知明確企業(yè)的數(shù)據(jù)包括：1.運(yùn)維數(shù)據(jù)、檢測(cè)數(shù)據(jù)、報(bào)警數(shù)據(jù)以及這些類數(shù)據(jù)的歷史數(shù)據(jù)，存儲(chǔ)在某業(yè)務(wù)系統(tǒng)中，通過(guò)接口調(diào)用。2.不同下屬單位的多套核心系統(tǒng)的維修、報(bào)警及狀態(tài)數(shù)據(jù)，保存在不同的業(yè)務(wù)系統(tǒng)中，通過(guò)接口調(diào)用。3.多套核心設(shè)備檢測(cè)系統(tǒng)的物聯(lián)網(wǎng)數(shù)據(jù)，通過(guò)傳感器采集并上傳。4.某系統(tǒng)的GIS數(shù)據(jù)，以文件形式存儲(chǔ)并集成。5.設(shè)備相關(guān)圖像數(shù)據(jù)，以圖像形式存儲(chǔ)。6.視頻數(shù)據(jù)，來(lái)自企業(yè)內(nèi)部監(jiān)控系統(tǒng)7*24小時(shí)的數(shù)據(jù)，存儲(chǔ)在視頻監(jiān)控系統(tǒng)中。
對(duì)以上數(shù)據(jù)進(jìn)行梳理會(huì)發(fā)現(xiàn)，企業(yè)數(shù)據(jù)包含以下幾類：
● 時(shí)序數(shù)據(jù)：傳感器產(chǎn)生的數(shù)據(jù)，存于物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)中，形態(tài)可能是實(shí)時(shí)數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)等
● 結(jié)構(gòu)化數(shù)據(jù)：已有系統(tǒng)積累的數(shù)據(jù)，包括維修、報(bào)警及狀態(tài)數(shù)據(jù)。更多的企業(yè)可能是已經(jīng)歷史上建設(shè)好的業(yè)務(wù)系統(tǒng) ERP、設(shè)備管理、物流、產(chǎn)銷、安全生產(chǎn)等等系統(tǒng)。
● 半結(jié)構(gòu)化數(shù)據(jù)： 如GIS文件等，本身以文件存儲(chǔ)，但數(shù)據(jù)包含一定的結(jié)構(gòu)和意義。
● 圖像數(shù)據(jù)及視頻數(shù)據(jù)
大多數(shù)工業(yè)企業(yè)數(shù)據(jù)治理起步晚、基礎(chǔ)薄弱，存在缺乏統(tǒng)一數(shù)據(jù)視圖、數(shù)據(jù)孤島普遍存在、數(shù)據(jù)質(zhì)量參差不齊、數(shù)據(jù)安全難以保障等問(wèn)題。這些問(wèn)題嚴(yán)重阻礙了數(shù)據(jù)的互聯(lián)互通和高效利用，成為了數(shù)據(jù)價(jià)值難以有效釋放的瓶頸。
因此，企業(yè)亟需對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行有效治理，持續(xù)積累數(shù)據(jù)資產(chǎn)、釋放數(shù)據(jù)價(jià)值，以數(shù)據(jù)驅(qū)動(dòng)企業(yè)的業(yè)務(wù)創(chuàng)新、運(yùn)營(yíng)管理的提質(zhì)增效。
工業(yè)互聯(lián)網(wǎng)平臺(tái)數(shù)據(jù)治理能力梳理
針對(duì)工業(yè)企業(yè)數(shù)據(jù)的現(xiàn)狀，工業(yè)互聯(lián)網(wǎng)平臺(tái)需要提供數(shù)據(jù)治理的能力，支持企業(yè)IT/OT數(shù)據(jù)融合，最終通過(guò)治理后的數(shù)據(jù)來(lái)為工業(yè)互聯(lián)網(wǎng)應(yīng)用如設(shè)備預(yù)測(cè)性維護(hù)、生產(chǎn)過(guò)程優(yōu)化、企業(yè)經(jīng)營(yíng)管理應(yīng)用等提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)和支持。
工業(yè)互聯(lián)網(wǎng)平臺(tái)數(shù)據(jù)治理能力需要連接數(shù)據(jù)生產(chǎn)者與消費(fèi)者，對(duì)企業(yè)數(shù)據(jù)進(jìn)行統(tǒng)一的采集、存儲(chǔ)與治理，為數(shù)據(jù)消費(fèi)者提供高質(zhì)量的數(shù)據(jù)。對(duì)企業(yè)數(shù)據(jù)進(jìn)行全生命周期閉環(huán)管理，支持?jǐn)?shù)據(jù)采集、存儲(chǔ)、共享、使用、銷毀全生命周期管理;支持異構(gòu)、多源的企業(yè)數(shù)據(jù)融合，幫助企業(yè)積累數(shù)據(jù)資產(chǎn)、提升數(shù)據(jù)質(zhì)量、實(shí)現(xiàn)數(shù)據(jù)貫通、保障數(shù)據(jù)安全、促進(jìn)數(shù)據(jù)共享、持續(xù)提升數(shù)據(jù)價(jià)值。
從需求角度來(lái)看，工業(yè)互聯(lián)網(wǎng)平臺(tái)數(shù)據(jù)治理基礎(chǔ)能力應(yīng)包括：提供數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)地圖、血緣分析、影響分析等典型應(yīng)用能力;提供數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)模型管理、元數(shù)據(jù)管理、數(shù)據(jù)安全管理等數(shù)據(jù)治理能力;提供數(shù)據(jù)接入、數(shù)據(jù)服務(wù)總線等數(shù)據(jù)集成能力。
1、全面盤點(diǎn)數(shù)據(jù)資產(chǎn)
形成企業(yè)數(shù)據(jù)資產(chǎn)地圖，全面掌握數(shù)據(jù)資產(chǎn)現(xiàn)狀;
幫助業(yè)務(wù)人員快速精確查到需要的數(shù)據(jù);
幫助數(shù)據(jù)開(kāi)發(fā)人員快速理解數(shù)據(jù)。
2、實(shí)現(xiàn)數(shù)據(jù)互聯(lián)互通
建立企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)，完善企業(yè)數(shù)據(jù)管理規(guī)范;
建立企業(yè)共享數(shù)據(jù)平臺(tái)，存儲(chǔ)企業(yè)數(shù)據(jù)，積累數(shù)據(jù)資產(chǎn);
建立企業(yè)數(shù)據(jù)共享流程，促進(jìn)企業(yè)數(shù)據(jù)共享。
3、提高數(shù)據(jù)獲取效率
建立企業(yè)數(shù)據(jù)資產(chǎn)目錄，快速建設(shè)需要的數(shù)據(jù);
建立數(shù)據(jù)服務(wù)目錄，快速共享數(shù)據(jù)服務(wù);
建立數(shù)據(jù)計(jì)算工具，方便快速完成數(shù)據(jù)計(jì)算。
4、不斷提升數(shù)據(jù)質(zhì)量
建立閉環(huán)的數(shù)據(jù)治理管控體系;
設(shè)計(jì)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn);
動(dòng)態(tài)稽核數(shù)據(jù)質(zhì)量，生成數(shù)據(jù)質(zhì)量稽核報(bào)告。
5、保障數(shù)據(jù)安全合規(guī)
完善企業(yè)數(shù)據(jù)安全策略;
建立企業(yè)數(shù)據(jù)安全措施、審計(jì)措施，支持?jǐn)?shù)據(jù)全生命周期安全管理。
6、持續(xù)釋放數(shù)據(jù)價(jià)值
建立閉環(huán)的數(shù)據(jù)治理管控體系;
設(shè)計(jì)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn);
動(dòng)態(tài)稽核數(shù)據(jù)質(zhì)量，生成數(shù)據(jù)質(zhì)量稽核報(bào)告。
寄云NeuSeer工業(yè)互聯(lián)網(wǎng)平臺(tái)
數(shù)據(jù)治理實(shí)踐
總體架構(gòu)
寄云科技NeuSeer工業(yè)互聯(lián)網(wǎng)平臺(tái)提供全方位的數(shù)據(jù)治理服務(wù)，具備完成文件、數(shù)據(jù)庫(kù)、圖像、視頻等相關(guān)數(shù)據(jù)的數(shù)據(jù)接入能力，支持通過(guò)實(shí)時(shí)數(shù)據(jù)接口、批量上傳、爬蟲(chóng)、物聯(lián)網(wǎng)數(shù)據(jù)采集處理等手段將數(shù)據(jù)接入到平臺(tái)，通過(guò)數(shù)據(jù)融合、存儲(chǔ)、治理，最終形成幾類數(shù)據(jù)治理工作成果：數(shù)據(jù)資產(chǎn)目錄生成、血緣分析、生命周期管理;數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)質(zhì)量報(bào)告;數(shù)據(jù)安全管理，數(shù)據(jù)訪問(wèn)安全，存儲(chǔ)安全，共享安全，安全審計(jì)等;數(shù)據(jù)共享，共享流程管理，共享運(yùn)營(yíng)及共享評(píng)價(jià)。
數(shù)據(jù)接入
圖 | 數(shù)據(jù)接入
1. 支持多元異構(gòu)數(shù)據(jù)的模板化接入
OT數(shù)據(jù)
1. 調(diào)用時(shí)序數(shù)據(jù)API實(shí)時(shí)接入
2. 通過(guò)SFTP批量接入
IT數(shù)據(jù)
1. 調(diào)用結(jié)構(gòu)數(shù)據(jù)API 實(shí)時(shí)接入
2. 通過(guò)ETL批量接入
3. 通過(guò)SFTP批量接入
4. 調(diào)用文件數(shù)據(jù)API批量接入
外部數(shù)據(jù)
1. 調(diào)用結(jié)構(gòu)數(shù)據(jù)API 實(shí)時(shí)接入
2. 調(diào)用文件數(shù)據(jù)API批量接入
2. 數(shù)據(jù)源注冊(cè)采集數(shù)據(jù)源基本信息及OT/IT元數(shù)據(jù)信息
數(shù)據(jù)融合
圖 | 數(shù)據(jù)融合
支持流批計(jì)算，支持KAFKA/TSDB數(shù)據(jù)流計(jì)算，MPP、Hadoop文件的批計(jì)算，計(jì)算結(jié)果可以寫回TSDB、MPP、KAFKA、Hadoop文件。
數(shù)據(jù)存儲(chǔ)
圖 | 數(shù)據(jù)存儲(chǔ)
MPP支持結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與計(jì)算;TSDB支持IoT實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)與計(jì)算;HDFS支持非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與計(jì)算。
數(shù)據(jù)治理
圖 | 數(shù)據(jù)治理
支持?jǐn)?shù)據(jù)采集、存儲(chǔ)、共享、使用、銷毀全生命周期管理，支持異構(gòu)、多源的企業(yè)數(shù)據(jù)融合，幫助企業(yè)積累數(shù)據(jù)資產(chǎn)、提升數(shù)據(jù)質(zhì)量、實(shí)現(xiàn)數(shù)據(jù)貫通、保障數(shù)據(jù)安全、促進(jìn)數(shù)據(jù)共享、持續(xù)提升數(shù)據(jù)價(jià)值。
數(shù)據(jù)資產(chǎn)目錄
圖 | 數(shù)據(jù)資產(chǎn)目錄
● 支持企業(yè)全部數(shù)據(jù)資產(chǎn)的分類目錄、檢索、查看、共享功能， 幫助數(shù)據(jù)使用者快速精確地找到自己需要的數(shù)據(jù);
● 支持全域數(shù)據(jù)全生命周期管理與治理， 形成數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)目錄，支持企業(yè)數(shù)據(jù)資產(chǎn)運(yùn)營(yíng);
● 幫助企業(yè)快速感知企業(yè)數(shù)據(jù)分布。
數(shù)據(jù)共享
圖 | 數(shù)據(jù)共享
支持?jǐn)?shù)據(jù)共享，包括共享流程管理，共享運(yùn)營(yíng)及共享評(píng)價(jià)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的跨企業(yè)內(nèi)外互聯(lián)互通，匯聚共享。
數(shù)據(jù)標(biāo)準(zhǔn)
圖 | 數(shù)據(jù)標(biāo)準(zhǔn)
● 支持企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)的瀏覽、查詢、下載;
● 支持企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)的新建、審核、發(fā)布、廢止及版本管理。
數(shù)據(jù)質(zhì)量
圖 | 數(shù)據(jù)質(zhì)量
● 根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)設(shè)定質(zhì)量規(guī)則;
● 數(shù)據(jù)質(zhì)量動(dòng)態(tài)稽核;
● 生成數(shù)據(jù)治理稽核報(bào)告;
● 數(shù)據(jù)質(zhì)量報(bào)警。
數(shù)據(jù)模型
圖 | 數(shù)據(jù)模型
● 結(jié)構(gòu)化數(shù)據(jù)物理模型的檢索與查閱;
● 結(jié)構(gòu)化數(shù)據(jù)物理模型的變更、審核、發(fā)布及歷史版本管理。
元數(shù)據(jù)管理
圖 | 元數(shù)據(jù)管理
● 采集并管理元數(shù)據(jù);
● 定義分類、分層數(shù)據(jù)標(biāo)簽;
● 元數(shù)據(jù)質(zhì)量稽核;
● 數(shù)據(jù)血緣分析、影響分析，實(shí)現(xiàn)數(shù)據(jù)關(guān)鍵信息的追蹤和記錄，幫助用戶快速了解數(shù)據(jù)的來(lái)源于去向，有效評(píng)估數(shù)據(jù)元數(shù)據(jù)變化帶來(lái)的影響。
數(shù)據(jù)安全
圖 | 數(shù)據(jù)安全
數(shù)據(jù)安全對(duì)數(shù)據(jù)進(jìn)行安全等級(jí)劃分， 從采集，傳輸，存儲(chǔ)和使用的各個(gè)環(huán)節(jié)對(duì)數(shù)據(jù)全生命周期的安全管理，支持?jǐn)?shù)據(jù)安全使用和共享。
數(shù)據(jù)融合
● 結(jié)構(gòu)化數(shù)據(jù)注冊(cè)數(shù)據(jù)源后通過(guò)實(shí)時(shí)API、ETL方式接入數(shù)據(jù)服務(wù)總線;
● 實(shí)時(shí)數(shù)據(jù)注冊(cè)數(shù)據(jù)源后， 通過(guò)實(shí)時(shí)數(shù)據(jù)接入Adapter接入數(shù)據(jù)服務(wù)總線;
● 文件、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)通過(guò)手工上傳SFTP的方式接入;
● 盤點(diǎn)企業(yè)IT/OT所有數(shù)據(jù)源基本信息， 支持標(biāo)準(zhǔn)化模板數(shù)據(jù)接入;
● 多源數(shù)據(jù)的提取、分析、結(jié)果輸出。
數(shù)據(jù)治理后的數(shù)據(jù)應(yīng)用
問(wèn)渠哪得清如許，為有源頭活水來(lái)。數(shù)據(jù)治理的過(guò)程就是紅旗渠的建設(shè)過(guò)程，經(jīng)過(guò)數(shù)據(jù)治理平臺(tái)處理后的數(shù)據(jù)，如同經(jīng)過(guò)分類處理的各種資源，是后續(xù)各種企業(yè)應(yīng)用的數(shù)據(jù)基礎(chǔ)。這些數(shù)據(jù)可以用來(lái)支撐工業(yè)APP應(yīng)用的開(kāi)發(fā)，構(gòu)建各種數(shù)據(jù)指標(biāo)體系，針對(duì)業(yè)務(wù)優(yōu)化場(chǎng)景去構(gòu)建復(fù)雜分析模型。
寄云科技NeuSeer工業(yè)互聯(lián)網(wǎng)平臺(tái)，深度聚焦工業(yè)領(lǐng)域，以數(shù)據(jù)智能為核心，融合IT/OT數(shù)據(jù)，為企業(yè)提供方便的異構(gòu)數(shù)據(jù)接入和融合、大數(shù)據(jù)處理與智能化分析，以及低代碼的開(kāi)發(fā)工具，簡(jiǎn)化和加速工業(yè)應(yīng)用的開(kāi)發(fā)與迭代,助力企業(yè)建立閉環(huán)的數(shù)據(jù)治理管控體系。廣泛應(yīng)用于設(shè)備性能管理、生產(chǎn)過(guò)程指標(biāo)優(yōu)化、實(shí)時(shí)生產(chǎn)決策、安全生產(chǎn)等應(yīng)用場(chǎng)景，持續(xù)致力于為企業(yè)數(shù)字化轉(zhuǎn)型與智能化升級(jí)提供有力抓手。
（轉(zhuǎn)載）
