1. 程式人生 > >為什麼你的大資料專案會失敗

為什麼你的大資料專案會失敗

引言 :近年來大資料、人工智慧概念喧囂塵上,各類 大資料應用 層出不窮。這些融合了海量資料、高效能運算平臺、智慧演算法、酷炫的資料視覺化效果的企業級大資料應用產品成為了企業的新的寵兒。“大平臺、微應用”,“資料智慧應用”,一時間,大資料應用建設專案如雨後春筍般湧現,但在目前大部分的商業實踐中我們看到,傳統企業斥巨資建設的大資料應用,彷彿還沒有找到商業價值的轉化點。筆者結合自身在之前某大型央企的供職經歷,從一名資訊化從業者(IT狗)角度的出發,聊聊對此類問題的認識。姑妄之言,且讀且珍惜。

注:大資料應用是個很寬泛的概念,本文所指的大資料應用,重點為以資料為基礎,以演算法為支撐的,指導企業經營運轉與決策的資料分析產品。如當下流行的客戶畫像系統、預測性維修、精準營銷等系統。

一、為什麼企業熱衷“大資料”、“AI”?——聊聊現象

因為,確實有用 。追求效率、適應快速變化的商業競爭環境,是企業生存的必備條件。而基於海量資料的應用,能有效指導企業快速掌握使用者的個性化需求,實現精準營銷,能夠幫助企業打通資料關節,實現精準預測與智慧決策,加快企業經營運轉、提高生產效率,降低生產成本,實現資料價值變現。這些華麗的宣傳詞背後的商業價值,對於企業來說,具有致命的誘惑。

二是大資料帶來的行業巨大沖擊力,倒逼企業數字化轉型升級 。以阿里巴巴、京東、螞蟻金融、滴滴打車等為代表的網際網路企業所帶來的行業顛覆,讓傳統企業戰戰兢兢,在這個已經到來的資料時代,不變革,就等死。

三是經過了二十年企業資訊化建設,當下已經到了收割“資料紅利”的有利時機 。企業多年的資料積累以及第三方資料的開放、跨界融合,讓這場資料革命有了更為廣闊的想象空間。

四是企業形象與品牌建設需要向網際網路化轉型,需要新鮮的概念包裝,需要顯示出與潮流與時俱進的企業活力 。很多企業領導說,別人都在上,我們也得上,這無可厚非。

然而,時至今日,“大資料”已經被說爛了,人工智慧也已經閃亮登場了,Gartner已經把大資料從技術炒作曲線中移除了,但是大多數企業中仍然鮮見其成功案例,很多企業抓住了大資料這根稻草,但仍在泥沼中喘息。資料轉型、資料驅動,概念嗷嗷上天,落地寥寥無幾。

錢也沒少花、資料也沒少買,大資料平臺也沒少建,專業團隊也沒少請,各類資源都在全力保障,資料平臺也搭建起來了,資料也整合進去了,眼瞅著“大平臺、微應用”的夢想要實現了,但是最終還是悲哀的發現,我們懷揣的希望與憧憬,看到的卻是資料平臺為無人問津,各類基於平臺之上的大資料應用在廢墟之中橫亙殘落。

二、為什麼會失敗——聊聊原因

(1) 再強大的平臺,也無法管理混亂的資料 。大資料應用依賴於基礎的資料平臺。而企業多年來積累的資料,缺乏標準的體系梳理,缺乏有效的資料管理機制,資料結構混亂,資料質量低下,好不容易梳理規範的資料進入系統,沒過多久,又再次陷入混亂。資料基礎不完備,盲目的上Hadoop平臺,又沒有完善的資料管控機制,最終也只能淪為廢墟無人問津。

(2) 再大的資料,也無法喚醒無視它的人 。IT部門鼓搗著進行平臺建設,到處拿著雞毛當令箭收集資料,業務人員疲於應付,這一場由IT主導的資料革命,本身從源頭上,就是錯誤的。業務人員不清楚由IT自己臆想搗鼓的資料應用究竟要表達什麼,讓IT改個需求又費時費力,與其浪費時間,不如老樣子,跟著感覺走。

(3) 再智慧的演算法,也無法真正的理解業務 。演算法和資料都是冷冰冰的,沒有溫度,它們只是工具、手段。沒有與業務融合,沒有實際的應用場景,演算法只能是院校學術論文。不能帶來巨大的業務價值導向,無法實際解決使用者痛點,沒有業務人員深度的參與,無論多牛的演算法,都沒法挖掘出深刻的業務洞察。

總體而言,企業大資料建設專案最突出的問題,總結三點: 1.缺乏“用資料說話”的意識與文化;2.缺乏行之有效的資料管理體系;3.業務應用引導專案建設,而非本末倒置 ;為了避免專案成果最終淪為資料廢墟,企業應當結合自身特點,尋找最適合自身的資料轉型之路。

三、我們怎麼辦——聊聊方法

以往的大資料建設的核心思路都是:先建平臺或資料中心,構建分析工具,打造資料應用。這樣的主要問題在於,對於中小企業,由於規劃能力的不足,資料基礎不紮實,很難在初期設計好整體的全貌,會造成極大的建設風險。因此,在戰略層面,需要解決好資料應用的價值定位(解決什麼業務問題,預期達到什麼樣的目標);在執行層面,形成自上而下的推動過程,進行企業資料文化的培養建立。在方法論層面,我們提出以資料應用為核心的企業大資料能力建設思路:

(1)應用先行,先輕後重 。挑選實際業務中最具價值的、資料基礎較為完備的、資料分析訴求較為強烈的業務場景,進行固化。在應用逐步積累的情況下,資料平臺的建設也會一個自然而然的過程,使用者可在建設過程中,適時投入,對於反應不佳的應用可以快速調整,具有更靈活的控制權與主動權。這樣的方式,留有充分的試錯空間,可避免投入較大成本問題;

(2)先易後難,穩步推進 。這類資料應用的開發,可以先從基本指標體系的建設,設定監控的KPI,監控關鍵業務經營指標,逐步實現企業的資料透明化運營。以此來建立和推動企業的資料文化與意識的培養。然後可以引入高階分析團隊(通常企業內部是不具備這樣的人才的),針對特定的業務場景,與業務人員深入協商溝通、確定關鍵業務分析目標與關鍵因素,藉助演算法與分析引擎,構建業務模型,形成智慧的資料應用產品,持續評估,不斷提升模型的泛化效能與可解釋性,這樣可引起業務人員的極大關注度與興趣,幫助業務人員更好的進行分析與決策。讓資料應用落到實處。需要面試實戰資料的加群:834325294

(3)以用促管,以管優用 。用一部分,理一部分,以資料產品應用,倒逼資料管理制度的優化與完善。在資料湖大行其道,以及Hadoop生態體系已完全成熟的今天,我們可以嘗試採用更加柔性靈活的資料標準規範。

(4)資料創新,人人蔘與。資料應用具有巨大的想象空間與創新可能 ,需要充分調動與發揮企業人員的主觀能動性,推動業務自主進行資料分析,讓更多的業務人員能夠通過統一的平臺進行資料價值的洞察、分析,充分發揮業務人員的行業經驗(如舉辦內部的資料分析競賽),不斷髮掘新的資料應用,以此促進企業數字化轉型程序。

四、工欲善其事必先利其器——聊聊工具

根據如上的思路,不難看出,資料分析與應用開發工具是其關鍵核心。此類工具,一是要能夠融合企業各類資料,具備基礎的資料管理的功能;二是簡單易上手,開發速度快,無編碼,讓支援業務使用者也能自己開發;三是需要內建高階演算法的能夠支援預測、優化、自動決策與排程功能;四是能夠支撐多使用者協作的、能與其他系統無縫融合,五是高效能,同時價格不宜過高。

國內外資料分析工具豐富,如SAS、SPSS、Tableau、Qlik,國內如永洪、帆軟等,但能支撐複雜的智慧演算法,又能支撐自助式分析的功能的工具相對較少,再此筆者冒昧推薦由美林資料自主研發的Tempo大資料分析平臺。該平臺內建視覺化、挖掘的一體化資料分析模組,可使用Tempo快速完成大屏、儀表盤的製作,也可拖曳式的實現複雜的機器學習演算法流程的建立,構建自主的預測性資料產品。目前 Tempo大資料分析平臺 在工業大資料領域、金融行業、有著較為廣泛的應用,有興趣的可訪問http://www.asktempo.com 瞭解。

五、結語——聊聊未來

在不遠的將來,大資料平臺將會成為堅實的管道,而資料應用將逐步向輕量級、場景化、實時性、智慧化的方向發展,人們在關注資料應用的業務價值的同時,也將追求更便捷、開箱即用的應用體驗,會按角色進行場景的細化,會更追求實時、高效,會更加關注智慧化的互動體驗,此外更會與其他系統整合,形成以分析-決策-行動為閉環的應用鏈條,星星之火,可以燎原,一個個微小靈活的資料應用,勢必將在曾經的廢墟之上,熠熠生輝。

 

希望大家多多關注,你的關注是我最大的動力