阿里年薪50W大資料分析師給出的學習路線!
在美國,大資料工程師平均年薪達17.5萬美元,在中國頂尖的網際網路公司裡,大資料工程師的薪酬比同級別的其他職位高出30%以上。DT時代來得太突然了,國內發展勢頭很猛,而大資料相關的人才卻非常地有限,在未來若干年內都會是供不應求的狀況,因此程式設計師們,你們的春天到了!
轉行也並非一朝一夕的事情,你需要對這個行業有一定的瞭解,並匹配一下自己的知識和能力結構。
以下是一位在BAT大資料領域打滾了N年後的分析師寫下的一些總結和體會給想入行或是剛入行大資料的朋友借鑑學習!
成為資料分析師有哪些要求?
1、理論知識要寬泛,涉及數學、市場和技術。要求及對資料敏感,包括統計知識、市場研究、模型原理等。
2、常規分析工具的使用,包括資料庫、資料探勘、統計分析工具,常用辦公軟體(Excel、PPT、思維導圖)等等。
3、有一定的業務理解能力,能理解業務背後的商業邏輯。因為只有理解了商業問題,才能轉換成資料分析的問題,從而滿足部門的要求。
4、資料報告和資料視覺化的能力。資料分析得再好,如果不能以漂亮的方式“表達”,成效也會大打折扣。
現在大多工作都需要你擁有邏輯分析能力,尤其是對資料的分析理解。在資料化運營理念深入的今天,BAT這樣的大型網際網路公司強調全員參與資料化運營,把資料分析當作一種能力在培訓,也必定是未來趨勢。
資料分析師所需具備的能力和知識(從資料分析的4個步驟來理解)
資料分析的四個步驟:資料獲取、資料處理、資料分析、資料呈現。
1、資料獲取
資料獲取看似簡單,但是需要把握對問題的商業理解,轉化成資料問題來解決,直白點講就是需要哪些資料,從哪些角度來分析,界定問題後,再進行資料採集。此環節,需要資料分析師具備結構化的邏輯思維。
推薦書籍:《金字塔原理》、麥肯錫三部曲:麥肯錫意識、工具、方法;
推薦工具:思維導圖工具(Xmind\百度腦圖等);
2、資料處理
資料的處理需要掌握有效率的工具:
Excel及高階技能:日常工作通用,容易掌握,處理10萬級別的資料很輕鬆。
學習高階Excel需要哪些技能?
學習excel是個循序漸進的過程
基礎:簡單的表格資料處理、列印、查詢、篩選、排序
函式和公式:常用函式、高階資料計算、陣列公式、多維引用、function
視覺化圖表:圖形圖示展示、高階圖表、圖表外掛
資料透視表、VBA程式開發
按照我習慣的方法,先過一遍基礎,知道什麼是什麼,然後找幾個case練習。多逛逛excelhome論壇,平常多思考如何用excel來解決問題,善用外掛,還有記得儲存。
帆軟FineReport:專業的報表工具,日常做報表設計一個模板可通用,只要會寫SQL就可上手。相比excel做報表,開發的技術要求較少,能很快地開發常規報表、動態報表,並可以放在移動端和大屏檢視。
Oracle和SQL sever:企業最常用的千萬級別的資料庫,熟練掌握SQL語言。
保持不斷的技術學習,比如學習新流行的hadoop之類的分散式資料庫來提升個人能力,對求職有幫助。
3、分析資料
分析資料往往需要各類統計分析模型,如關聯規則、聚類、分類、預測模型等等。
因此,熟練掌握一些統計分析工具不可免:
SPSS系列:老牌的統計分析軟體,SPSS Statistics(偏統計功能、市場研究)、SPSS Modeler(偏資料探勘),不用程式設計,易學。
SAS:經典挖掘軟體,需要程式設計。
R:開源軟體,新流行,對非結構化資料處理效率上更高,需程式設計。
各類BI工具:
Tableau:視覺化工具的鼻祖,對於處理好的資料可作自由的視覺化分析,圖表效果驚人
大資料BI工具FineBI:類同Tableau,可在前端做任意維度分析;資料可在前端繼續處理(計算、篩選過濾等),可對接hadoop之類的大資料平臺,資料處理效能較好。
推薦書籍:
1、《說菜鳥不會資料分析》系列,入門級書,初學者最適。
2、《資料探勘與資料化運營實戰,思路、方法、技巧與應用》,內容很系統很全面。
3、《市場研究定量分析方法與應用》,簡明等編著,中國人民大學出版社。
4、資料視覺化呈現
很多資料分析工具已經涵蓋了資料視覺化部分,只需要把資料結果進行有效的呈現和演講彙報,可用word\PPT\H5等方式展現。
學習路線規劃
第一階段(基礎階段)
Linux學習
Linux作業系統介紹與安裝、Linux常用命令、Linux常用軟體安裝、Linux網路、 防火牆、Shell程式設計等。
Java 高階學習(《深入理解Java虛擬機器》、《Java高併發實戰》)
掌握多執行緒、掌握併發包下的佇列、掌握JVM技術、掌握反射和動態代理、瞭解JMS。
Zookeeper學習
Zookeeper分散式協調服務介紹、Zookeeper叢集的安裝部署、Zookeeper資料結構、命令。
第二階段(攻堅階段)
Hadoop、Hive、HBase、Scala、Spark、Python
第三階段(輔助工具工學習階段)
Sqoop、Flume、Oozie、Hue這些工具的學習主要在CSDN,51CTO以及官網都可以學習。
那如何學習才能快速入門並精通呢?
當真正開始學習的時候難免不知道從哪入手,導致效率低下影響繼續學習的信心。
但最重要的是不知道哪些技術需要重點掌握,學習時頻繁踩坑,最終浪費大量時間,所以有一套實用的視訊課程用來跟著學習是非常有必要的。
為了讓學習變得輕鬆、高效,今天給大家免費分享一套陸金所的大資料架構師傳授的一套教學資源。幫助大家在學習大資料的道路上披荊斬棘。
這套視訊課程,詳細講解了Hadoop生態(MR、Hbase、Spark、Storm等)開發技術,深度講解了資料探勘、機器學習相關的演算法、神經網路等內容!
而且還把叢集需要用到的各種程式進行了打包,根據基礎視訊可以讓你輕鬆搭建Hadoop完全分散式環境,像在企業生產環境一樣進行學習和實踐。
後臺私信回覆“大資料” 就可以馬上免費獲得這套價值一萬八的內部教材!先到先得。
再次強調:
1、把資料分析作為一種能力培養,讓自己在現在的團隊中展現出良好的資料分析能力,為你以後內部轉崗做好準備。
2、紮實學好一、兩門資料探勘軟體,基於你已有得程式設計基礎,可以學SAS或者R,基本能夠滿足很大部分企業的需求。
3、多看多想多觀察,學習業務職能是這樣,細水長流,還需要不斷工作積累和廣泛的閱讀。
最後,希望你能夠成為你想成為的人!