1. 程式人生 > >關於大資料思維的一些思考

關於大資料思維的一些思考

  資料現在是個熱點詞彙,關於有了大資料,如何發揮大資料的價值,議論紛紛,而筆者以為,似乎這有點搞錯了原因與結果,就象關聯關係,有A的時候,B與之關聯,而有B的時候,A卻未必關聯,筆者還是從通常的4個V來描述一下我所認為的大資料思維。

  首先是大資料的量,資料量足夠大,達到了統計性意義,才有價值。筆者看過的一個典型的案例就是,例如傳統的,收集幾千條資料,很難發現血緣關係對遺傳病的影響,而一旦達到2萬條以上,那麼發現這種影響就會非常明顯。那麼對於我們在收集問題時,是為了發現隱藏的知識去收集資料,還是不管有沒有價值地收集,這還是值得商榷的。其實收集資料,對於資料本身,還是可以劃分出一些標準,確立出層級,結合需求、目標來收集,當然有人會說,這樣的話,將會導致巨大的偏差,例如說喪失了資料的完整性,有一定的主觀偏向,但是筆者以為,這樣至少可以讓收集到的資料的價值相對較高。

  第二是大資料的種類,也可以說成資料的維度,對於一個物件,採取標籤化的方式,進行標記,針對需求進行種類的擴充,和資料的量一樣,筆者認為同樣是建議根據需求來確立,但是對於標籤,有一個通常採取的策略,那就是推薦標籤和自定義標籤的問題,分類法其實是人類文明的一大創舉,採取推薦標籤的方式,可以大幅度降低標籤的總量,而減少後期的規約工作,資料收集時擴充量、擴充維度,但是在資料進入應用狀態時,我們是希望處理的是小資料、少維度,而通過這種推薦、可選擇的方式,可以在標準化基礎上的自定義,而不是毫無規則的擴充套件,甚至使用者的自定義標籤給予一定的限制,這樣可以使維度的價值更為顯現。

  第三是關於時效性,現在進入了讀秒時代,那麼在很短的時間進行問題分析、關聯推薦、決策等等,需要的資料量和資料種類相比以前,往往更多,換個說法,因為現在時效性要求高了,所以處理資料的方式變了,以前可能多人處理,多次處理,現在必須變得單人處理、單次處理,那麼相應的資訊系統、工作方式、甚至企業的組織模式,管理績效都需要改變,例如筆者曾經工作的企業,上了ERP系統,設計師意見很大,說一個典型案例,以往發一張變更單,發出去工作結束,而上了ERP系統以後,就必須為這張變更單設定物料程式碼,設定需要查詢物料的儲存,而這些是以前設計師不管的,又沒有為設計師為這些增加的工作支付獎勵,甚至因為物料的缺少而導致變更單不能發出,以至於設計師工作沒有完成,導致被處罰。但是我們從把工作一次就做完,提升企業的工作效率角度,這樣的設計變更與物料整合的方式顯然是必須的。那麼作為一個工作人員,如何讓自己的工作更全面,更完整,避免王府,讓整個企業工作更具有時間的競爭力,提高資料的數量、種類、處理能力是必須的。

  第四關於大資料價值,一種說法是大資料有大價值,還有一種是相對於以往的結構化資料、少量資料,現在是大資料了,所以大資料的單位價值下降。筆者以為這兩種說法都正確,這是一個從總體價值來看,一個從單元資料價值來看的問題。而筆者提出一個新的關於大資料價值的觀點,那就是真正發揮大資料的價值的另外一個思路。這個思路就是針對企業的問題,首先要說什麼是問題,筆者說的問題不是一般意義上的問題,因為一說問題,大家都以為不好、錯誤等等,而筆者的問題的定義是指狀態與其期望狀態的差異,包括三種模式,第一是通常意義的問題,例如失火了,必須立即撲救,其實這是三種模式中最少的一種;第二種模式是希望保持狀態,第三種模式是期望的狀態,這是比原來的狀態高一個層級的。我們針對問題,提出一系列解決方案,這些解決方案往往有多種,例如員工的培訓,例如裝置的改進,例如組織的方式的變化,當然解決方案包括資訊化手段、大資料手段,我們一樣需要權衡大資料的方法是不是一種相對較優的方法,如果是,那麼用這種手段去解決,那麼也就是有價值了。例如筆者知道的一個案例,一個企業某產品部件偶爾會出現問題,企業經歷數次後決定針對裝置上了一套工控系統,記錄材料的溫度,結果又一次出現問題時,進行分析認為,如果工人正常上班操作,不應該有這樣的資料記錄,而經過與值班工人的質詢,值班工人承認其上晚班時睡覺,沒有及時處理。再往後,同樣的問題再沒有再次發生。

  總結起來,筆者以為大資料思維的核心還是要落實到價值上,面向問題,收集足夠量的資料,足夠維度的資料,達到具有統計學意義,也可以滿足企業生產、客戶需求、甚至競爭的時效要求,而不是一味為了大資料而大資料,這樣才是一種務實、有效的正確思維方式,是一線大資料的有效的專案推進方式,在這樣的思維模式基礎上,採取滾雪球方式,把大資料逐步展開,才真正贏來大資料百花齊放的春天。