引言：第四次工業(yè)革命即將來(lái)臨，實(shí)現(xiàn)工業(yè)4.0和中國(guó)制造2025離不開構(gòu)建智能工廠，離不開物聯(lián)網(wǎng)，離不開大數(shù)據(jù)等一系列新技術(shù)。大數(shù)據(jù)是未來(lái)智能工業(yè)發(fā)展的要素之一，也是引導(dǎo)中國(guó)制造業(yè)變革的數(shù)字寵兒。所以說(shuō)，未來(lái)大數(shù)據(jù)將有著快速發(fā)展。
無(wú)論是為促銷產(chǎn)品還是作為戰(zhàn)略目標(biāo)，大數(shù)據(jù)已然成為很多公司和機(jī)構(gòu)過(guò)度使用的術(shù)語(yǔ)。筆者認(rèn)為，數(shù)據(jù)基本就是兩類，一類是人類軌跡產(chǎn)生的數(shù)據(jù)，另一類機(jī)器自動(dòng)產(chǎn)生的數(shù)據(jù)。這兩類數(shù)據(jù)構(gòu)成了我們今天的大數(shù)據(jù)多結(jié)構(gòu)化數(shù)據(jù)源。大數(shù)據(jù)不僅要關(guān)注實(shí)際數(shù)據(jù)量的多少，而最重要的是關(guān)注在大數(shù)據(jù)的處理方法，讓數(shù)據(jù)產(chǎn)生巨大的創(chuàng)新價(jià)值。這也就是為何以谷歌為代表的技術(shù)創(chuàng)新類的公司會(huì)在未來(lái)成為全球市值最高的公司的核心原因之一。
實(shí)現(xiàn)工業(yè)4.0或中國(guó)制造2025的前提之一是構(gòu)建智能工廠，其核心要素包括了信息物理系統(tǒng)(CPS)，物聯(lián)網(wǎng)(IOT)，智能認(rèn)知，社交媒體，云計(jì)算與移動(dòng)，以及M2M。 智能工廠構(gòu)成了工業(yè)4.0的一個(gè)關(guān)鍵特征。智能工廠將從現(xiàn)在通過(guò)中央控制中的模式轉(zhuǎn)向通過(guò)自行優(yōu)化和控制其制造流程來(lái)實(shí)現(xiàn)。
柔性生產(chǎn)的三個(gè)方面：
1. 人、機(jī)器和資源如同在一個(gè)社交網(wǎng)絡(luò)里自然地相互溝通協(xié)作。
2. 生產(chǎn)出來(lái)的智能產(chǎn)品能夠理解自己被制造的細(xì)節(jié)以及將如何用。它們積極協(xié)助生產(chǎn)過(guò)程，回答諸如“我是什么時(shí)候被制造的”“哪組參數(shù)應(yīng)被用來(lái)處理我”“我應(yīng)該被傳送到哪”等等問(wèn)題。
3. 機(jī)器和產(chǎn)品之間的數(shù)據(jù)傳輸將通過(guò)使用微處理器、存儲(chǔ)裝置、傳感器和發(fā)送器來(lái)實(shí)現(xiàn)。這些裝置將被嵌入至幾乎所有可想象的機(jī)器、待加工產(chǎn)品、材料、智能工具和用于組織數(shù)據(jù)流的新型軟件，由此實(shí)現(xiàn)產(chǎn)品和機(jī)器的相互通信并和交換數(shù)據(jù)。
大數(shù)據(jù)在智能工業(yè)的特征
——數(shù)據(jù)的處理方法比數(shù)據(jù)本身值錢
無(wú)論是為促銷產(chǎn)品還是作為戰(zhàn)略目標(biāo)的方式，大數(shù)據(jù)已然成為很多公司和機(jī)構(gòu)過(guò)度使用的術(shù)語(yǔ)。2012年高德納(Gartner)給出德大數(shù)據(jù)定義里面，特別強(qiáng)調(diào)大數(shù)據(jù)是多樣化信息資產(chǎn)，不僅關(guān)注實(shí)際數(shù)據(jù)，而最最重要的是關(guān)注大數(shù)據(jù)處理方法。數(shù)據(jù)量大還是量小本身并不是判斷大數(shù)據(jù)價(jià)值的核心指標(biāo)，而數(shù)據(jù)的實(shí)時(shí)性(velocity)和多元性(variety)應(yīng)該對(duì)大數(shù)據(jù)的定義和價(jià)值更具直接的影響。
——大數(shù)據(jù)是多結(jié)構(gòu)化數(shù)據(jù)：包含人類和機(jī)器數(shù)據(jù)
我們大多數(shù)人會(huì)認(rèn)為大數(shù)據(jù)包含了非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)。我更提倡大數(shù)據(jù)是“多結(jié)構(gòu)化數(shù)據(jù)”的說(shuō)法，無(wú)論是自由文本還是關(guān)系數(shù)據(jù)庫(kù)等，大數(shù)據(jù)可以由人類產(chǎn)生的數(shù)據(jù)足跡與機(jī)器自動(dòng)生產(chǎn)的數(shù)據(jù)兩大板塊形成。大數(shù)據(jù)的工具和技術(shù)能夠?yàn)椴煌慕Y(jié)構(gòu)化數(shù)據(jù)服務(wù)。在信息化與工業(yè)化融合的過(guò)程與商業(yè)活動(dòng)中，我們需要加強(qiáng)機(jī)器數(shù)據(jù)的采集，分析，并且把此項(xiàng)工作作為智能制造的核心工作之一。
——工業(yè)大數(shù)據(jù)的機(jī)器數(shù)據(jù)讓我們的業(yè)務(wù)變得透明
在現(xiàn)代工業(yè)供應(yīng)鏈中，隨著大數(shù)據(jù)應(yīng)用的普及，我們可以感受到了從采購(gòu)，生產(chǎn)，物流與銷售市場(chǎng)都是大數(shù)據(jù)的戰(zhàn)場(chǎng)。大數(shù)據(jù)可以幫助我們實(shí)現(xiàn)客戶的分析和挖掘，它的應(yīng)用場(chǎng)景包括了實(shí)時(shí)核心，交易，服務(wù)，后臺(tái)服務(wù)等。通過(guò)的載體包括了手機(jī)，傳感器，穿戴設(shè)備，3D打印機(jī)和平板電腦等。傳感器數(shù)據(jù)屬于工業(yè)大數(shù)據(jù)類別之一，從這些機(jī)器數(shù)據(jù)中，我們可以保障生產(chǎn)，滿足法律法規(guī)的要求，提升環(huán)保，改善客戶服務(wù)。通過(guò)幫我們找到已經(jīng)發(fā)生的問(wèn)題做好協(xié)助預(yù)測(cè)相類似問(wèn)題未來(lái)重復(fù)發(fā)生的幾率與時(shí)間。
大數(shù)據(jù)的挑戰(zhàn)：
1.用理性了解大數(shù)據(jù)
作為與工業(yè)4.0聯(lián)系最為緊密的兩化融合任務(wù)，中國(guó)制造2015其核心是生產(chǎn)過(guò)程、產(chǎn)品的智能化，以及互聯(lián)網(wǎng)與制造業(yè)的融。數(shù)據(jù)的靈活處理性成為第一個(gè)焦點(diǎn)。隨著傳統(tǒng)數(shù)據(jù)庫(kù)(database)和數(shù)據(jù)倉(cāng)庫(kù)(data warehouse)的運(yùn)行越來(lái)越緩慢，并很難滿足企業(yè)業(yè)務(wù)的發(fā)展需要，數(shù)據(jù)的靈活性就成為了推動(dòng)大數(shù)據(jù)技術(shù)發(fā)展的一個(gè)重要推動(dòng)力。
2.從Hadoop走向數(shù)據(jù)湖
2015年的大數(shù)據(jù)領(lǐng)域被看作是“數(shù)據(jù)湖(data lake)”與“數(shù)據(jù)藻澤”的狀態(tài)之爭(zhēng)。無(wú)論學(xué)術(shù)杰如何去詮釋，其核心是強(qiáng)調(diào)一種基于對(duì)象的數(shù)據(jù)存儲(chǔ)方式將收集來(lái)的數(shù)據(jù)以其最原生的格式(多結(jié)構(gòu)化的)存儲(chǔ)下來(lái)留作日后使用?！皵?shù)據(jù)湖”具有很高的價(jià)值定位，它代表了一種可擴(kuò)展的基礎(chǔ)架構(gòu)，非常經(jīng)濟(jì)且超級(jí)靈活。
3.自主大數(shù)據(jù)數(shù)據(jù)服務(wù)成為主流
隨著大數(shù)據(jù)工具和服務(wù)的發(fā)展，2015年，IT行業(yè)將逐漸緩解發(fā)展瓶頸的局面，許多商業(yè)用戶和數(shù)據(jù)科學(xué)家將會(huì)借助相關(guān)工具和服務(wù)訪問(wèn)大量數(shù)據(jù)。自助服務(wù)大數(shù)據(jù)將成為IT行業(yè)的一種趨勢(shì)，它允許商業(yè)用戶可以通過(guò)自助服務(wù)接觸大數(shù)據(jù)。自助服務(wù)還可以幫助開發(fā)者、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師直接進(jìn)行數(shù)據(jù)探索和處理工作。當(dāng)我們了解大數(shù)據(jù)的時(shí)候，業(yè)務(wù)的價(jià)值和IT的成本是我們主要衡量未來(lái)IT的標(biāo)準(zhǔn)，業(yè)務(wù)價(jià)值驅(qū)動(dòng)大數(shù)據(jù)創(chuàng)新。Hadoop 不再成為我們討論的大數(shù)據(jù)主題。我們需要了解更多的是業(yè)務(wù)創(chuàng)新，數(shù)據(jù)變現(xiàn)和業(yè)務(wù)場(chǎng)景的探索。
下一代的大數(shù)據(jù)體系-數(shù)據(jù)湖
每個(gè)數(shù)據(jù)項(xiàng)都應(yīng)有清楚的追蹤，可追溯其源系統(tǒng)以及該數(shù)據(jù)項(xiàng)產(chǎn)生的時(shí)間等信息。2010年JamesDixon以此理念，創(chuàng)造了數(shù)據(jù)湖(data Lake)這個(gè)術(shù)語(yǔ)，當(dāng)時(shí)他打算將數(shù)據(jù)湖泊作為單一數(shù)據(jù)源來(lái)使用，而多數(shù)據(jù)源將形成“水景園”。盡管還是最初的構(gòu)想，如今最普遍的應(yīng)用是將數(shù)據(jù)湖泊當(dāng)做許多數(shù)據(jù)源的結(jié)合?，F(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)在分析能力的缺失，業(yè)務(wù)對(duì)數(shù)據(jù)獲取能力的提升，高級(jí)分析方法的創(chuàng)新是一種必然。
數(shù)據(jù)湖泊是近十年出現(xiàn)的術(shù)語(yǔ)，用來(lái)描述數(shù)據(jù)世界中，數(shù)據(jù)分析管道的重要組成部分。作為一個(gè)信息系統(tǒng)，數(shù)據(jù)湖泊是大型的基于對(duì)象的存儲(chǔ)庫(kù)，數(shù)據(jù)以其原始格式存儲(chǔ)。通過(guò)全面的監(jiān)控和分析，通過(guò)數(shù)據(jù)的分析模型的建立，學(xué)習(xí)，模擬，行動(dòng)，最終實(shí)現(xiàn)內(nèi)容認(rèn)知的智能。 有并行體系以及無(wú)需移動(dòng)數(shù)據(jù)即可對(duì)數(shù)據(jù)進(jìn)行計(jì)算操作的明顯特點(diǎn)。
特點(diǎn)1-數(shù)據(jù)湖泊是一個(gè)并行體系，能夠存儲(chǔ)大數(shù)據(jù)
數(shù)據(jù)湖泊的每個(gè)數(shù)據(jù)元素都有獨(dú)特的標(biāo)識(shí)符，并有一組擴(kuò)展的元數(shù)據(jù)標(biāo)簽。
數(shù)據(jù)湖泊以數(shù)據(jù)源提供數(shù)據(jù)時(shí)的原格式(不論原格式是什么)存儲(chǔ)原始數(shù)據(jù)。沒(méi)有預(yù)設(shè)的數(shù)據(jù)模式，每個(gè)數(shù)據(jù)源都可以使用任何模式。由消費(fèi)者根據(jù)自己的目的來(lái)理解數(shù)據(jù)。
特點(diǎn)2-數(shù)據(jù)湖體系無(wú)需移動(dòng)數(shù)據(jù)即可對(duì)數(shù)據(jù)進(jìn)行計(jì)算操作
通常數(shù)據(jù)倉(cāng)庫(kù)一方面要清理，一方面還要聚合數(shù)據(jù)，從而使分析更加容易。但科學(xué)家往往也反對(duì)這點(diǎn)，因?yàn)榫酆弦馕吨鴣G棄數(shù)據(jù)。你不知道今天或者幾年以后哪些數(shù)據(jù)會(huì)有價(jià)值，所以數(shù)據(jù)湖泊應(yīng)包含所有數(shù)據(jù)。數(shù)據(jù)湖泊使用平坦架構(gòu)存儲(chǔ)數(shù)據(jù)。這個(gè)理念是建立一個(gè)單一存儲(chǔ)區(qū)，用來(lái)存儲(chǔ)組織內(nèi)任何人員可能需要分析的所有原始數(shù)據(jù)。通常人們使用Hadoop對(duì)湖泊內(nèi)的數(shù)據(jù)進(jìn)行各種操作，但這個(gè)概念比Hadoop要寬泛的多。
總結(jié)
大數(shù)據(jù)技術(shù)自身在快速的發(fā)展，從1.0到大數(shù)據(jù)3.0的數(shù)據(jù)湖時(shí)代,我們要理性的看待大數(shù)據(jù)，在關(guān)注數(shù)據(jù)量的同時(shí)，應(yīng)該更加重視數(shù)據(jù)分析的能力和方法。筆者認(rèn)為，實(shí)用分析工具與先進(jìn)分析理念，真正釋放數(shù)字化分析的力量，由人類軌跡產(chǎn)生的數(shù)據(jù)，與機(jī)器自動(dòng)產(chǎn)生的數(shù)據(jù)得出洞見(jiàn)，從管理決策推導(dǎo)運(yùn)營(yíng)方案，最終實(shí)現(xiàn)數(shù)據(jù)價(jià)值提升。
業(yè)界有很多大數(shù)據(jù)的技術(shù)公司提供不同的技術(shù)，其中也包含了一大堆的開源軟件開發(fā)出來(lái)的。大數(shù)據(jù)的成長(zhǎng)路徑一定是個(gè)長(zhǎng)期成長(zhǎng)過(guò)程。在不同的階段，來(lái)打造不同的IT能力，我們倡導(dǎo)的是開放式大數(shù)據(jù)架構(gòu)。不僅僅為大的數(shù)據(jù)集服務(wù)，同時(shí)企業(yè)中業(yè)務(wù)人員有很多小數(shù)據(jù)集的分析和探索。在很好滿足業(yè)務(wù)的不同需求下，大數(shù)據(jù)一定是一種混搭技術(shù)，利用現(xiàn)有的IT投資來(lái)達(dá)到整個(gè)回報(bào)的最大化。特別在中國(guó)智能制造2025的變革中，數(shù)據(jù)湖不會(huì)是數(shù)據(jù)倉(cāng)庫(kù)和BI平臺(tái)的終結(jié)者，但數(shù)據(jù)湖一定是未來(lái)企業(yè)數(shù)據(jù)技術(shù)(DT)的核心紐帶，成為引導(dǎo)中國(guó)制造2025變革的數(shù)字寵兒。
（轉(zhuǎn)載）
