需求與挑戰(zhàn) ·
習(xí)近平總書記在黨的十九大報告中提出“推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實體經(jīng)濟(jì)深度融合”，進(jìn)一步突出了大數(shù)據(jù)作為國家基礎(chǔ)性戰(zhàn)略性資源的重要地位。掌握豐富的高價值數(shù)據(jù)資源日益成為搶占未來發(fā)展主動權(quán)的前提和保障。
數(shù)據(jù)作為越來越重要的生產(chǎn)要素，將成為比土地、石油、煤礦等更為核心的生產(chǎn)資源。如何加工利用數(shù)據(jù)，釋放數(shù)據(jù)價值，實現(xiàn)企業(yè)的數(shù)字化轉(zhuǎn)型，是當(dāng)前企業(yè)在數(shù)據(jù)資產(chǎn)管理中面臨的重要課題。
我們來看一個工業(yè)企業(yè)的數(shù)據(jù)治理的需求。已知明確企業(yè)的數(shù)據(jù)包括：1.運維數(shù)據(jù)、檢測數(shù)據(jù)、報警數(shù)據(jù)以及這些類數(shù)據(jù)的歷史數(shù)據(jù)，存儲在某業(yè)務(wù)系統(tǒng)中，通過接口調(diào)用。2.不同下屬單位的多套核心系統(tǒng)的維修、報警及狀態(tài)數(shù)據(jù)，保存在不同的業(yè)務(wù)系統(tǒng)中，通過接口調(diào)用。3.多套核心設(shè)備檢測系統(tǒng)的物聯(lián)網(wǎng)數(shù)據(jù)，通過傳感器采集并上傳。4.某系統(tǒng)的GIS數(shù)據(jù)，以文件形式存儲并集成。5.設(shè)備相關(guān)圖像數(shù)據(jù)，以圖像形式存儲。6.視頻數(shù)據(jù)，來自企業(yè)內(nèi)部監(jiān)控系統(tǒng)7*24小時的數(shù)據(jù)，存儲在視頻監(jiān)控系統(tǒng)中。
對以上數(shù)據(jù)進(jìn)行梳理會發(fā)現(xiàn)，企業(yè)數(shù)據(jù)包含以下幾類：
● 時序數(shù)據(jù)：傳感器產(chǎn)生的數(shù)據(jù)，存于物聯(lián)網(wǎng)數(shù)據(jù)庫中，形態(tài)可能是實時數(shù)據(jù)庫、時序數(shù)據(jù)庫等
● 結(jié)構(gòu)化數(shù)據(jù)：已有系統(tǒng)積累的數(shù)據(jù)，包括維修、報警及狀態(tài)數(shù)據(jù)。更多的企業(yè)可能是已經(jīng)歷史上建設(shè)好的業(yè)務(wù)系統(tǒng) ERP、設(shè)備管理、物流、產(chǎn)銷、安全生產(chǎn)等等系統(tǒng)。
● 半結(jié)構(gòu)化數(shù)據(jù)： 如GIS文件等，本身以文件存儲，但數(shù)據(jù)包含一定的結(jié)構(gòu)和意義。
● 圖像數(shù)據(jù)及視頻數(shù)據(jù)
大多數(shù)工業(yè)企業(yè)數(shù)據(jù)治理起步晚、基礎(chǔ)薄弱，存在缺乏統(tǒng)一數(shù)據(jù)視圖、數(shù)據(jù)孤島普遍存在、數(shù)據(jù)質(zhì)量參差不齊、數(shù)據(jù)安全難以保障等問題。這些問題嚴(yán)重阻礙了數(shù)據(jù)的互聯(lián)互通和高效利用，成為了數(shù)據(jù)價值難以有效釋放的瓶頸。
因此，企業(yè)亟需對數(shù)據(jù)資產(chǎn)進(jìn)行有效治理，持續(xù)積累數(shù)據(jù)資產(chǎn)、釋放數(shù)據(jù)價值，以數(shù)據(jù)驅(qū)動企業(yè)的業(yè)務(wù)創(chuàng)新、運營管理的提質(zhì)增效。
工業(yè)互聯(lián)網(wǎng)平臺數(shù)據(jù)治理能力梳理
針對工業(yè)企業(yè)數(shù)據(jù)的現(xiàn)狀，工業(yè)互聯(lián)網(wǎng)平臺需要提供數(shù)據(jù)治理的能力，支持企業(yè)IT/OT數(shù)據(jù)融合，最終通過治理后的數(shù)據(jù)來為工業(yè)互聯(lián)網(wǎng)應(yīng)用如設(shè)備預(yù)測性維護(hù)、生產(chǎn)過程優(yōu)化、企業(yè)經(jīng)營管理應(yīng)用等提供堅實的數(shù)據(jù)基礎(chǔ)和支持。
工業(yè)互聯(lián)網(wǎng)平臺數(shù)據(jù)治理能力需要連接數(shù)據(jù)生產(chǎn)者與消費者，對企業(yè)數(shù)據(jù)進(jìn)行統(tǒng)一的采集、存儲與治理，為數(shù)據(jù)消費者提供高質(zhì)量的數(shù)據(jù)。對企業(yè)數(shù)據(jù)進(jìn)行全生命周期閉環(huán)管理，支持?jǐn)?shù)據(jù)采集、存儲、共享、使用、銷毀全生命周期管理;支持異構(gòu)、多源的企業(yè)數(shù)據(jù)融合，幫助企業(yè)積累數(shù)據(jù)資產(chǎn)、提升數(shù)據(jù)質(zhì)量、實現(xiàn)數(shù)據(jù)貫通、保障數(shù)據(jù)安全、促進(jìn)數(shù)據(jù)共享、持續(xù)提升數(shù)據(jù)價值。
從需求角度來看，工業(yè)互聯(lián)網(wǎng)平臺數(shù)據(jù)治理基礎(chǔ)能力應(yīng)包括：提供數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)地圖、血緣分析、影響分析等典型應(yīng)用能力;提供數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)模型管理、元數(shù)據(jù)管理、數(shù)據(jù)安全管理等數(shù)據(jù)治理能力;提供數(shù)據(jù)接入、數(shù)據(jù)服務(wù)總線等數(shù)據(jù)集成能力。
1、全面盤點數(shù)據(jù)資產(chǎn)
形成企業(yè)數(shù)據(jù)資產(chǎn)地圖，全面掌握數(shù)據(jù)資產(chǎn)現(xiàn)狀;
幫助業(yè)務(wù)人員快速精確查到需要的數(shù)據(jù);
幫助數(shù)據(jù)開發(fā)人員快速理解數(shù)據(jù)。
2、實現(xiàn)數(shù)據(jù)互聯(lián)互通
建立企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)，完善企業(yè)數(shù)據(jù)管理規(guī)范;
建立企業(yè)共享數(shù)據(jù)平臺，存儲企業(yè)數(shù)據(jù)，積累數(shù)據(jù)資產(chǎn);
建立企業(yè)數(shù)據(jù)共享流程，促進(jìn)企業(yè)數(shù)據(jù)共享。
3、提高數(shù)據(jù)獲取效率
建立企業(yè)數(shù)據(jù)資產(chǎn)目錄，快速建設(shè)需要的數(shù)據(jù);
建立數(shù)據(jù)服務(wù)目錄，快速共享數(shù)據(jù)服務(wù);
建立數(shù)據(jù)計算工具，方便快速完成數(shù)據(jù)計算。
4、不斷提升數(shù)據(jù)質(zhì)量
建立閉環(huán)的數(shù)據(jù)治理管控體系;
設(shè)計數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn);
動態(tài)稽核數(shù)據(jù)質(zhì)量，生成數(shù)據(jù)質(zhì)量稽核報告。
5、保障數(shù)據(jù)安全合規(guī)
完善企業(yè)數(shù)據(jù)安全策略;
建立企業(yè)數(shù)據(jù)安全措施、審計措施，支持?jǐn)?shù)據(jù)全生命周期安全管理。
6、持續(xù)釋放數(shù)據(jù)價值
建立閉環(huán)的數(shù)據(jù)治理管控體系;
設(shè)計數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn);
動態(tài)稽核數(shù)據(jù)質(zhì)量，生成數(shù)據(jù)質(zhì)量稽核報告。
寄云NeuSeer工業(yè)互聯(lián)網(wǎng)平臺
數(shù)據(jù)治理實踐
總體架構(gòu)
寄云科技NeuSeer工業(yè)互聯(lián)網(wǎng)平臺提供全方位的數(shù)據(jù)治理服務(wù)，具備完成文件、數(shù)據(jù)庫、圖像、視頻等相關(guān)數(shù)據(jù)的數(shù)據(jù)接入能力，支持通過實時數(shù)據(jù)接口、批量上傳、爬蟲、物聯(lián)網(wǎng)數(shù)據(jù)采集處理等手段將數(shù)據(jù)接入到平臺，通過數(shù)據(jù)融合、存儲、治理，最終形成幾類數(shù)據(jù)治理工作成果：數(shù)據(jù)資產(chǎn)目錄生成、血緣分析、生命周期管理;數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)質(zhì)量報告;數(shù)據(jù)安全管理，數(shù)據(jù)訪問安全，存儲安全，共享安全，安全審計等;數(shù)據(jù)共享，共享流程管理，共享運營及共享評價。
數(shù)據(jù)接入
圖 | 數(shù)據(jù)接入
1. 支持多元異構(gòu)數(shù)據(jù)的模板化接入
OT數(shù)據(jù)
1. 調(diào)用時序數(shù)據(jù)API實時接入
2. 通過SFTP批量接入
IT數(shù)據(jù)
1. 調(diào)用結(jié)構(gòu)數(shù)據(jù)API 實時接入
2. 通過ETL批量接入
3. 通過SFTP批量接入
4. 調(diào)用文件數(shù)據(jù)API批量接入
外部數(shù)據(jù)
1. 調(diào)用結(jié)構(gòu)數(shù)據(jù)API 實時接入
2. 調(diào)用文件數(shù)據(jù)API批量接入
2. 數(shù)據(jù)源注冊采集數(shù)據(jù)源基本信息及OT/IT元數(shù)據(jù)信息
數(shù)據(jù)融合
圖 | 數(shù)據(jù)融合
支持流批計算，支持KAFKA/TSDB數(shù)據(jù)流計算，MPP、Hadoop文件的批計算，計算結(jié)果可以寫回TSDB、MPP、KAFKA、Hadoop文件。
數(shù)據(jù)存儲
圖 | 數(shù)據(jù)存儲
MPP支持結(jié)構(gòu)化數(shù)據(jù)的存儲與計算;TSDB支持IoT實時數(shù)據(jù)的存儲與計算;HDFS支持非結(jié)構(gòu)化數(shù)據(jù)的存儲與計算。
數(shù)據(jù)治理
圖 | 數(shù)據(jù)治理
支持?jǐn)?shù)據(jù)采集、存儲、共享、使用、銷毀全生命周期管理，支持異構(gòu)、多源的企業(yè)數(shù)據(jù)融合，幫助企業(yè)積累數(shù)據(jù)資產(chǎn)、提升數(shù)據(jù)質(zhì)量、實現(xiàn)數(shù)據(jù)貫通、保障數(shù)據(jù)安全、促進(jìn)數(shù)據(jù)共享、持續(xù)提升數(shù)據(jù)價值。
數(shù)據(jù)資產(chǎn)目錄
圖 | 數(shù)據(jù)資產(chǎn)目錄
● 支持企業(yè)全部數(shù)據(jù)資產(chǎn)的分類目錄、檢索、查看、共享功能， 幫助數(shù)據(jù)使用者快速精確地找到自己需要的數(shù)據(jù);
● 支持全域數(shù)據(jù)全生命周期管理與治理， 形成數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)目錄，支持企業(yè)數(shù)據(jù)資產(chǎn)運營;
● 幫助企業(yè)快速感知企業(yè)數(shù)據(jù)分布。
數(shù)據(jù)共享
圖 | 數(shù)據(jù)共享
支持?jǐn)?shù)據(jù)共享，包括共享流程管理，共享運營及共享評價數(shù)據(jù)，實現(xiàn)數(shù)據(jù)的跨企業(yè)內(nèi)外互聯(lián)互通，匯聚共享。
數(shù)據(jù)標(biāo)準(zhǔn)
圖 | 數(shù)據(jù)標(biāo)準(zhǔn)
● 支持企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)的瀏覽、查詢、下載;
● 支持企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)的新建、審核、發(fā)布、廢止及版本管理。
數(shù)據(jù)質(zhì)量
圖 | 數(shù)據(jù)質(zhì)量
● 根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)設(shè)定質(zhì)量規(guī)則;
● 數(shù)據(jù)質(zhì)量動態(tài)稽核;
● 生成數(shù)據(jù)治理稽核報告;
● 數(shù)據(jù)質(zhì)量報警。
數(shù)據(jù)模型
圖 | 數(shù)據(jù)模型
● 結(jié)構(gòu)化數(shù)據(jù)物理模型的檢索與查閱;
● 結(jié)構(gòu)化數(shù)據(jù)物理模型的變更、審核、發(fā)布及歷史版本管理。
元數(shù)據(jù)管理
圖 | 元數(shù)據(jù)管理
● 采集并管理元數(shù)據(jù);
● 定義分類、分層數(shù)據(jù)標(biāo)簽;
● 元數(shù)據(jù)質(zhì)量稽核;
● 數(shù)據(jù)血緣分析、影響分析，實現(xiàn)數(shù)據(jù)關(guān)鍵信息的追蹤和記錄，幫助用戶快速了解數(shù)據(jù)的來源于去向，有效評估數(shù)據(jù)元數(shù)據(jù)變化帶來的影響。
數(shù)據(jù)安全
圖 | 數(shù)據(jù)安全
數(shù)據(jù)安全對數(shù)據(jù)進(jìn)行安全等級劃分， 從采集，傳輸，存儲和使用的各個環(huán)節(jié)對數(shù)據(jù)全生命周期的安全管理，支持?jǐn)?shù)據(jù)安全使用和共享。
數(shù)據(jù)融合
● 結(jié)構(gòu)化數(shù)據(jù)注冊數(shù)據(jù)源后通過實時API、ETL方式接入數(shù)據(jù)服務(wù)總線;
● 實時數(shù)據(jù)注冊數(shù)據(jù)源后， 通過實時數(shù)據(jù)接入Adapter接入數(shù)據(jù)服務(wù)總線;
● 文件、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)通過手工上傳SFTP的方式接入;
● 盤點企業(yè)IT/OT所有數(shù)據(jù)源基本信息， 支持標(biāo)準(zhǔn)化模板數(shù)據(jù)接入;
● 多源數(shù)據(jù)的提取、分析、結(jié)果輸出。
數(shù)據(jù)治理后的數(shù)據(jù)應(yīng)用
問渠哪得清如許，為有源頭活水來。數(shù)據(jù)治理的過程就是紅旗渠的建設(shè)過程，經(jīng)過數(shù)據(jù)治理平臺處理后的數(shù)據(jù)，如同經(jīng)過分類處理的各種資源，是后續(xù)各種企業(yè)應(yīng)用的數(shù)據(jù)基礎(chǔ)。這些數(shù)據(jù)可以用來支撐工業(yè)APP應(yīng)用的開發(fā)，構(gòu)建各種數(shù)據(jù)指標(biāo)體系，針對業(yè)務(wù)優(yōu)化場景去構(gòu)建復(fù)雜分析模型。
寄云科技NeuSeer工業(yè)互聯(lián)網(wǎng)平臺，深度聚焦工業(yè)領(lǐng)域，以數(shù)據(jù)智能為核心，融合IT/OT數(shù)據(jù)，為企業(yè)提供方便的異構(gòu)數(shù)據(jù)接入和融合、大數(shù)據(jù)處理與智能化分析，以及低代碼的開發(fā)工具，簡化和加速工業(yè)應(yīng)用的開發(fā)與迭代,助力企業(yè)建立閉環(huán)的數(shù)據(jù)治理管控體系。廣泛應(yīng)用于設(shè)備性能管理、生產(chǎn)過程指標(biāo)優(yōu)化、實時生產(chǎn)決策、安全生產(chǎn)等應(yīng)用場景，持續(xù)致力于為企業(yè)數(shù)字化轉(zhuǎn)型與智能化升級提供有力抓手。
（轉(zhuǎn)載）
