1. 程式人生 > >從資料沉澱、資料探勘和資料呈現這三個概念瞭解大資料

從資料沉澱、資料探勘和資料呈現這三個概念瞭解大資料

對於國內資料分析市場,我們感覺如下:
1. 市場巨大。
許多企業(無論是網際網路的新銳還是傳統的企業)都在討論這個,也有實際的需求並願意為此付錢,但是比較零碎尚不繫統化。目前對資料需求最強烈的行業依此是:金融機構(從基金到銀行到保險公司到P2P公司),以廣告投放及電商為代表的網際網路企業等。
2. 尚沒出現平臺級公司的模式(這或許往往是大市場或者大機會出現之前的混沌期)。
3. To B服務的氛圍在國內尚沒完全形成。
對於一些有能力的技術公司,如果資料需求強烈的話,考慮到自身能力的健全以及資料安全性,往往不會外包或者採用外部模組,而傾向於自建這塊業務。
4. 未來BAT及京東、58和滴滴打車等企業,憑藉其自身產生的海量資料,必然是資料領域的大玩家。


但是整個行業很大而且需求旺盛,即使沒有留給創業公司出現平臺級巨型企業的機會,也將留出各種各樣的細分市場機會讓大家可以獲得自己的領地。
對於資料業務,按照我們的理解,簡單將其分為三塊:資料沉澱、挖掘和視覺化,每一塊分別對應不同的模式及產品或服務。(資料探勘業務又被細分為分析、理解及儲存。)下面會進行簡單介紹,其實從我們的業務也可以看到一些整個行業的大致狀況。

資料沉澱
用大白話說就是資料抓取。目前有四大方式獲取資料 :
1. 網路爬蟲
用Python及Go等開發自己的爬蟲平臺,對幾十個網站進行每日抓取獲得相關資訊 (詳見: 能利用爬蟲技術做到哪些很酷很有趣很有用的事情? - 何明科的回答 )

2. Wi-Fi接入方案


比如我們自己就開發了一套完整的軟硬體方案,優勢是高ROI(投資回報比),且免費提供給物業管理者,幫助其實現靠網費賺錢以及推廣費賺錢。在與其協商的基礎上,獲得使用者資料。這主要是OpenWRT的開發以及一些智慧硬體和客戶端的開發。
3. 提供一些影象方面的API,進行圖片搜尋及人臉搜尋,滿足客戶在影象處理和影象識別方面的一些需求,同時獲取相關的影象資料。涉及到一些Machine Learning和Deep Learning的演算法,使用C++/Open CV/Matlab等工具或模組。
4. 資料服務需求方自行提供。
這部分是按照資料銷售的方式向客戶收費。

資料探勘
用大白話說,就是利用資料分析產生深層次有價值的理解。


基於以上各種方式獲得的資料,我們可以做最簡單的統計分析、使用者及品牌理解、使用者畫像、各品牌或各產品型號之間的關係等等,瞭解現在和歷史並爭取預測未來。
常用的工具是Python/R/SPSS等,演算法包括最簡單的統計、稍微複雜一些的Machine Learning、現在被捧上天的Deep Learning以及Collaborative Filtering等等,也需要使用到Hive等大資料處理平臺。

這部分類似於諮詢服務,向有需求的客戶按照專案收費。


資料呈現
用大白話說,就是把分析結果用最美觀和最容易理解的方式(圖示或者圖形)展現出來。
目前,行業大概有幾種玩法。
網站(相容PC端和移動端):提供給付費的B端客戶,不對外公開,大致形式如下:

開專欄和做公眾號:都是純免費的,將一些不敏感的資料和分析分享出去,攢人品賺口碑。
提供一個SaaS的公有云平臺,方便大家把自己的資料製作成為便於在網上特別是移動端傳播的圖文報表。[大資料魔方]產品的邏輯很簡單:讀數讀圖的需求越來越強烈,但是卻缺乏這樣的工具或者平臺來製作圖文並茂的內容,即使是Excel,也不能製作出適合於網路傳播的圖文內容。

常使用的技術是JS+Node.JS+MongoDB等等。