1. 程式人生 > >【工業大資料】工廠大資料之資料來源分析;如何挖掘並駕馭大資料的價值,成為“大資料企業”?

【工業大資料】工廠大資料之資料來源分析;如何挖掘並駕馭大資料的價值,成為“大資料企業”?

眾所周知,工業大資料是工廠智慧化水平提升的關鍵路徑,而資料來源的分析和管理是工廠大資料的基礎,理清理順資料來源也是實施工廠大資料的第一步。本文就對工廠的資料來源進行簡要分析。

資料來源的劃分

以下從兩個維度對工廠的資料來源進行分析:

  • 從系統/裝置角度劃分

  • 從業務角度劃分

系統/裝置劃分

從產生資料的系統或裝置來看,有工廠物聯網、工廠資訊化系統(包括企業資訊化系統在工廠的部署實施)、外部網際網路。

1、工廠物聯網

物聯網的概念於2005由國際電信聯盟(ITU)提出,但物聯網並非一次革命,而是一次演進,自動化行業從1990年代就已經開始了相關的探索:數字化、互聯互通、嵌入式系統和工業軟體,工廠對這些概念和產品已經逐步採納和適應。

工業物聯網技術的發展,進一步推進了IT和OT的融合,使得工廠現場變得更加數字化、更直觀透明。工廠物聯網也成為發展最快、資料量最大的資料來源。

現場匯流排、工業乙太網在工廠現場早已得到了普遍的應用,無論是機械行業的MDC(機床資料採集),還是流程行業的SCADA,都實現了關鍵裝置聯網和遠端監控。裝置執行狀態、故障報警、裝置引數、工藝引數、物料消耗和產出都可以實時獲取,這是現場資料的重要來源;

近年來物聯網技術快速發展,智慧感測器、智慧儀表、RFID、二維碼等在工廠逐漸實施,為工廠現場資料採集提供新的技術手段;

而集機械、感測、自動化、資訊化、智慧化為一體的智慧裝備開始蓬勃發展,智慧裝備成為工業大資料新的、增長最快的來源,它實時自動採集了裝置、產品、工藝的狀態與工況資料。

2、工廠資訊化系統

隨著IT技術的發展,管理資訊化系統在企業和工廠得到了廣泛應用:

從企業來看:辦公自動化系統(OA)、產品生命週期管理(PLM)、企業資源規劃(ERP)、供應鏈管理(SCM)和客戶關係管理(CRM)等資訊化系統得到普遍實施,這些系統中積累了產品研發資料、生產製造資料、物流供應資料以及客戶服務資料。

從工廠自身來看:生產執行系統(MES)、實驗室資訊管理系統(LIMS)、倉庫管理系統(WMS)、能源管理系統(EMS)也在各行各業實施,生產/質量/物料/裝置/能源等資料得到了積累和沉澱。

這些資訊系統儲存了大量工廠核心業務資料,具有高價值密度。

3、外部網際網路

當前網際網路與工業深度融合,企業外部網際網路已成為工業大資料不可忽視的來源。從供應商資料、產品銷售資料、市場反饋、市場分析都是需要工廠關注的資料來源。

此外,外部網際網路還存在著海量的“跨界”資料,比如影響裝備作業的氣象資料、影響產品市場預測的巨集觀經濟資料、影響企業生產成本的環境法規資料……

業務劃分

從業務角度來劃分,可以將資料來源為產品、工藝、裝置、生產、質量、運維、能耗、物料、人員等。

產品資訊:包括產品規格、BOM、產品圖片等;

工藝資訊:包括工序、工藝引數、工藝說明等;

裝置資訊:包括裝置執行狀態、裝置引數、故障報警等;

生產資訊:包括生產訂單、生產工單、生產批次、啟停時間、產出等;

質量資訊:包括樣本、取樣人、取樣時間、檢驗引數、檢驗結果、質量判定等;

運維資訊:包括點檢資訊、保養資訊、故障維修、備件消耗等;

人員資訊:包括人員編號、崗位資訊、資質證書、考勤資訊;

安全資訊:包括風險源、安全巡檢、安全預警。

資料來源的分級

收集越多的資料,就可以對工廠的執行進行建模和分析,便能發現更多的優化機會,但管理資料的成本卻是不菲,從收集、清理、轉換和儲存資料都需要付出時間和金錢。

工廠的資料來源眾多,就需要從業務價值、實現複雜度和資料管理成本進行綜合分析,進行資料來源進行優先順序劃分。這也可以從兩個方面去考慮:

從系統角度來看,工廠資訊化系統的價值密度高、資料量小、投入成本較低,是工廠大資料的首選資料來源;而工廠物聯網資料的價值密度低、資料量大、投入成本較高;而外部網際網路獲取成本高,更需要從價值角度進行優選。

從業務角度,也可以從工廠管理的難點和痛點進行分級篩選。

資料來源的關聯

一些碎片化的資料來源通常價值不大,但多個數據源進行關聯後就會產生更大的價值。例如現場的電能表,雖然能夠發現能耗的波動,但是和裝置資訊關聯後,就可以發現裝置執行能耗、故障能耗,從而發現更多的節能優化點,同時也可以對裝置運維提供更好的輔助決策。

所以如何將各個資料來源進行關聯就需要深入分析和探討,對於每個資料來源多可以從5W2H的角度進行分析和關聯:

What,產品規格和生產批次

Why,生產訂單、生產工單、客戶

When,時間資訊

Where,裝置

Who,班組、員工

How,設計要求和工藝要求

How Much,成本資訊

通過5W2H分析發現關鍵字,將資料來源賦予更多的資訊,並與其它資料來源進行關聯。

如何挖掘並駕馭大資料的價值,成為“大資料企業”?

郭迅華

對企業而言,大資料實質上是一種管理思維,其支點在於業務資訊資源與社交媒體的融合,以及內外部資料的融合,在這樣的支點上反思企業的組織形態、運作正規化和價值創造模式,是“大資料企業”的真正內涵所在。

每個企業都可能擁有大資料,但是並非每個企業都能夠成為大資料企業。大資料因其體量之“大”而得名,然而體量並非大資料的唯一特徵,甚至也不是大資料最為重要的特徵。巨大的體量凸顯的是技術需求。而對於管理者而言,刻意追求巨大體量的資料並不具有多少現實意義,大資料更重要的特徵在於其多樣化的來源和形態、持續快速的產生和演變,以及對深度分析能力的高度依賴。因此,企業對大資料的駕馭和掌控,其核心並不在於擁有多大規模的資料,而在於是否能夠對來自於企業內外部多樣化資訊源的湧流資料進行敏捷持續的捕捉和整合,並通過深度分析開發其商務價值。

一家中等規模的百貨商場,通過視訊監控記錄下商場各個區域的客流人數,從而評估每天各個時段客流的在店時長,進而結合銷售記錄資料估算出客流中帶有明確購買目標的“搜尋型”顧客和無明確購買目標的“瀏覽型”顧客的比例,從而為之設計針對性的營銷手段和服務措施。這一實踐中所涉及的資料量,從技術視角上看並不算龐大,但該商場對多源資料的整合和開發,不失為基於大資料管理的一種典型體現。

從這個意義上來說,在管理視角上,大資料既不是一種技術,也不是一種應用系統,而更應該是一種立足於企業內外部資料融合以提升管理效率、開拓價值創造模式的管理思維。建立這種面向大資料的管理思維,其基礎是業務流程資訊資源的高度整合化,以及資訊創造和傳播形式的高度社會化。

所以,企業大資料的一個重要焦點,在於業務流程資訊與社會化媒體資訊的全方位融合。以ERP為代表的企業系統應用推動業務流程資訊資源從分割走向整合,日漸興起的企業內外部社交媒體則推動資訊的創造和傳播形式從通道式/平臺式走向社交式,二者的融合將成為企業大資料的核心特徵。由此看來,未來的“大資料企業”,則代表著建立在這種融合基礎上的新型組織形態和價值創造模式。

駕馭企業內部大資料

企業內部資料包括兩個主要維度:

一是與業務功能及流程緊密相關的資料,如庫存資訊、物料需求資訊、生產計劃資訊、採購資訊等,可統稱為業務流程資訊;

二是企業內員工及各種管理系統在其日常工作及活動中所創造、記錄、交換和積累的資訊,例如員工間的交流記錄、工作心得、經驗分享、活動新聞等,可統稱為知識及溝通訊息,知識及溝通訊息高度鬆散且非結構化,但可能蘊藏著企業的重大潛在價值。

這兩個資料維度的發展和融合,催生出了企業內部大資料。如圖1所示,在傳統的企業組織中,業務流程資訊分散地存在於一個個孤立的業務系統中。在過去二十餘年的企業資訊化程序之中,一個主要的方向是業務流程資訊從分割走向整合。從庫存管理系統、物料需求計劃 (MRP) 發展到企業資源計劃 (ERP),分散的業務資訊被集成於企業系統之中,從而實現面向業務流程的資訊共享和溝通,並在此基礎上藉助跨部門的協同實現業務流程的優化和決策能力的提升。

企業內部大資料

另一方面,近年來逐步興起的企業內社交媒體應用,推動著企業內部資料環境在知識及溝通訊息維度上的重大變革。在傳統企業組織中,知識及溝通訊息藉助於通道式或平臺式的媒體產生和傳播。在通道式的媒體上(例如email),所有的人都可以發信息,但資訊的傳送物件是明確的、有限的;在平臺式的媒體上(例如企業內的新聞網站),資訊是開放的,但只有專門的人員才能釋出資訊。在企業內社交媒體中,這兩種形式被整合在了一起:所有人都可以釋出和分享資訊,而且這些資訊是開放的、可定製、可再分享的。在這樣的應用環境中,跨部門、跨層級的社交聯絡成為可能,並使得企業能夠更為敏銳地應對變化的環境,以即興式的團隊組織來捕捉髮展機遇。這種轉變帶來了三方面的價值:企業知識的有效共享和管理;企業文化建設,增強員工的歸屬感;對企業內協同創新的有效支援和促進。

進一步而言,當整合化的業務資訊與社交化的知識溝通訊息相融合,便帶來了企業內部大資料。在整合化企業系統、內部社交媒體以及深度資料分析技術的共同支撐下,傑克·韋爾奇所暢想的“無邊界組織”在新興環境下成為可能,並被賦予了新的內涵。部門邊界、層級邊界被緊密的業務聯絡和廣泛的社交聯絡所弱化,結構化的業務流程資訊與非結構化的知識及管理活動資訊被多維度融合的深度資料分析能力連線在一起,從而使企業真正具有駕馭內部大資料的能力。

從另一種角度上看來,業務資源整合使得企業資訊資源的管理從分散走向集中,社交媒體的發展使得企業內的資訊創造和傳播從集中走向分散,二者相輔相成,使得優化控制與靈活創新的並存成為可能(見圖2)。基於業務流程與社交媒體的融合而展開的深度資料分析,將為企業的決策優化、協同創新以及靈活應變開闢廣闊的空間。

業務資源整合與企業內社交媒體

駕馭企業外部大資料

在企業外部的視角上,資料資源也包括兩個維度:

一是與上下游交易直接相關的供應鏈資訊,如交易報價資訊、訂單資訊、上下游企業庫存及生產能力資訊等;

二是市場及社會環境資訊,如原材料價格走勢、市場需求及消費者偏好資訊、顧客服務及滿意度資訊等。

企業外部大資料的基本特徵,也正是在這兩個維度的發展之中呈現出來的。在傳統的商務活動形式下,上下游企業的業務系統相互獨立,交易夥伴藉助電話、傳真、電子郵件等手段以實現上下游資訊交換,企業通過市場調研等方式瞭解消費者,獲取市場及社會環境資訊。組織間資訊系統的發展帶來了供應鏈資訊的整合。通過將合作伙伴的資訊系統進行對接,或是藉助於電子市場平臺實現企業資訊系統的相互連線,上下游企業的業務資訊能夠通過標準化的介面自動交換,從而使得企業能夠在較為充分地掌握上下游資訊的基礎上進行業務決策,實現交易夥伴之間的協同優化。

在市場及社會環境資訊的維度上,資訊的創造和傳播形態同樣經歷了從通道式/平臺式媒體向社交媒體的轉變。公眾社交媒體的巨大影響力為社會化商務注入了強大的生命力。初期的社會化商務包括作為對外溝通渠道的企業郵箱、部落格、微博或即時通訊等,其主要目的在於提升企業形象、提供客戶服務。隨之發展而來的社會化營銷,則注重在社交網路中通過與顧客及其他商務夥伴的溝通和互動,進而通過實時化、精確化的市場洞察以獲取商業機會、開拓市場、把握創新機遇。此外,基於社交媒體的眾包、眾籌與眾創,也日益成為社會化商務的重要組成部分。

供應鏈資訊整合與社會化商務資訊的融合,構成企業外部大資料的核心特徵。來自於社交媒體資訊源的市場環境資訊與來自於組織間資訊系統的供應鏈資訊相結合,藉助於深度資料分析技術實現面向企業商務網路的預測與優化,並支撐起實時化、精確化、個性化的消費者洞察與敏捷響應,在此基礎上為基於網路協同及社會化商務的模式創新提供了豐富的可能性。從而,對外部大資料的管理和駕馭,也將成為現代企業在網路化的商務生態系統中佔據主導地位並獲取經營優勢的關鍵途徑。

成為“大資料企業”

基於以上分析,企業內部大資料的焦點,在於業務流程資訊與知識及溝通訊息的融合;企業外部大資料的焦點,在於供應鏈資訊與市場及社會環境資訊的融合。進而,大資料時代企業組織的基本內涵,在於內部大資料與外部大資料的全方位融合。大資料企業立足於內外部業務與社交媒體資料的整合交匯。

業務流程資料主要來源於以ERP為代表的企業系統,涵蓋了產品、物料、採購、生產、銷售、財務等與企業生產及服務提供過程緊密相關的資料;

商務交易資料來源於以供應鏈管理系統 (SCM)、客戶關係管理系統 (CRM)、電子化交易系統為代表的組織間資訊系統,涵蓋了供應商、客戶、訂單、物流等與外部交易活動緊密相關的資訊;

內部社交媒體資料包括了企業員工在內部部落格、微博、Wiki、內容分享平臺、群體化即時通訊工具等應用中創造和傳播的資訊,以及企業在辦公自動化系統等交流協作平臺上所記錄積累的資料,涵蓋並反映了員工的知識、建言、創意、心態、氛圍等形式多樣、內容廣泛的資訊;

外部社交媒體資料主要來源於公眾社交媒體,包括企業部落格、企業微博/微信服務號、品牌社群等各種形式,所涵蓋的資訊內容包括市場環境、需求訊號、全生命週期顧客行為、個性化偏好、營銷互動記錄等。

在這四大型別的資料之間,致力於大資料管理的企業可以有兩種不同的發展策略。其一是以社交媒體與業務資料的融合為主導,以期通過敏捷響應快速發現並應對內外部環境中的變化和機遇。在這種策略下,面向高速資料流的實時資料採集和分析方法,將成為大資料管理的主要支撐手段。

第二種策略是以內外部資料融合為主導,以期通過全面彙集內外部資訊,對中長期發展趨勢作出準確的預判,從而實現高度優化的業務決策,並通過對資訊環境的掌控,獲取企業網路生態系統中的領導地位。在這種策略下,大規模多源異構資料的採集、清洗和整合方法,將成為大資料管理的核心支撐。

如何挖掘企業大資料的價值

企業大資料的價值開發高度依賴於深度資料分析能力。從內外部融合的視角上看來,企業大資料分析包括三個基本維度,即內容、關係和時空。


內容維度指的是資料本身所承載的資訊內容。例如,G公司是一家大型電信服務商,其內部建設實施了一套“班組部落格”系統。在這個內部社交媒體平臺上,公司中的3000多個工作團隊都開設了自己的部落格,用於釋出和交流工作經驗、生活體驗等方面的內容。經過數年的發展,整個部落格系統中積累了博文700多萬篇,評論超過1500萬條,並保持著每月15萬篇以上的博文發表數量,年閱讀量超過1000萬篇次。對於這一平臺所積累的大量資料的價值開發,首先體現在對其資訊內容的提煉上。平臺上與工作相關的博文內容,如客服案例、經驗分享等,經自動篩選分類、主題識別、關鍵詞索引之後,被構建成企業知識庫,為業務及管理工作提供快速有效的知識支撐,同時成為員工培訓和自學的有力工具。而大量與工作無關的博文和評論內容,包括生活常識、娛樂資訊、心情表達、心靈雞湯等,在智慧化的分類整理之後,也成為了該公司的一個獨特的文化情景,支撐著企業中活躍的氛圍,強化了員工的文化認同。

關係維度指的是資料及其所指代的物件之間的聯絡。在G公司的班組部落格中,員工的發表、閱讀、評論、回覆、關注等行為詳盡地反映了其相互之間密集而持續的聯絡,而這些聯絡毫無遺漏地被記錄在平臺的資料庫之中。通過對這些關係結構的深度分析和挖掘,G公司獲得了對員工及團