大資料分析的四步過程模型
大資料這個詞近些年非常火,其實在很多年前大家就開始利用大資料的一些方法和過程了。
耳熟能詳的“決策支援系統”,“應急預案系統”,“輿情監測系統”等等,早在2005年前後就如雨後春筍般冒出來了。
我還記得當年參與了一個“輿情監測系統”的建設。
因為當時各個軟體系統各自為政,所以甲方找了三四家一起來做這個系統。
其中包括了“基礎資訊採集”、“爬蟲”、“展現”等。
在這裡我還是要推薦下我自己建的大資料學習交流qq裙: 957205962, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴
我當時參與的部分就是將分析處理的結果在地圖上進行展現,算是其中很小的一個模組。
最近聽了Coursera的一個關於Data Analystics的課程,其中將大資料分析的過程分成四個步驟。
而翻閱了一些相關的書籍和資料發現不論是《大資料分析》的6步過程模型,還是其他文章提到的5個階段,歸納起來都是這四個步驟。
因為Coursera上介紹的這四個步驟更加清晰,所以今天和大家分享的也是四個步驟的版本。
1
發現
從應用目標出發,確定所需的資料。
這裡麵包括定義問題,找出干係人的期望和顧慮;提出假設“可能會發生什麼事情?”;收集資料並進行一些處理和分析。
問題的定義非常重要。
我們都知道,如果方向錯了,那麼做得再多不僅會事倍功半,甚至會產生負面的效果。
一家公司一直在委派一些專業機構進行招聘、績效評估等方面的工作。
但是一直合作的專業機構的熟悉環境的介面人員崗位變動了,新來的人員對這個公司的很多東西不熟悉,造成了最近幾個月的招聘工作進展不順利。
有人會覺得這個問題就是提供人力資源服務的公司的問題。
但是這個是真正的問題嗎?
會不會是公司一直沒有能夠開發自己的人力資源管理能力,這才是真正的問題呢?
以前在做決策支援相關功能和系統的時候,發現很多時候使用者描述的問題都是表象。
大部分會集中在溝通效率低,工作效率低,成本不斷上升。
但是根本的問題到底在哪裡?
這是需要我們去進行挖掘的,不能簡單的把使用者給你的資訊當做金科玉律。
因為很多時候使用者也不知道根本的問題是什麼。
立場不同,角度不同,對問題的描述都會不同。
2
分析
對資料進行處理和建模,看看這些資料如何來支撐之前的假設。
我們經常聽說的自我學習體系,也是在這個過程中建立的。
在《大資料分析》以及其他一些書籍中,對於這個部分會講述的比較詳細。
包括演算法、建模、模型優化和分析等等。
3
解釋
根據上一步的分析結果對過去進行解釋,並對未來進行預測。
將分析結果與一些財務、運營指標進行關聯,用以支撐決策。
對於下一步的行動給出建議和評價。
在這裡我還是要推薦下我自己建的大資料學習交流qq裙: 957205962, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴
這個步驟其實挺有意思的。
要知道同一份資料,可以根據不同的目的有不同的解釋。
桌子上放了半杯水,你可以說,只剩下半杯就沒有了。
你也可以說,看,桌子上還有半杯水呢!
資料是死的,就看你怎麼看,怎麼用了。
所以說,不管是大資料還是小資料,對於決策都是輔助的。
真正做解釋和決策的其實還是人。
4
輸出
根據解釋和建議,制定詳細的步驟或者路線圖,並且提交給相關關係人。
對照業務目標,跟蹤實施的效果。
以上介紹了關於大資料分析的四個步驟,不知道作為大資料產品經理的小夥伴有什麼相關資訊可以分享下~