原文連結：https://blog.csdn.net/D55dffdh/article/details/82423831

在我們的生活中，你用微信的時候，你用高德地圖的時候，你用電腦的時候，你用某寶網購的時候......無時無刻不在製造資料，而這些資料在“有心人”的利用下，將會給我們的生活帶來巨大變化。如今90%的企業都在運用或者都想要利用大資料為其帶來更便利的服務，從而大資料高階軟體類人才可謂供不應求。

資料分析師已成為當下中國網際網路行業需求最高的六類人才職位之一。報告表明資料分析人才供給指數僅為5%，屬於高度稀缺。此外，資料分析人才的跳槽速度也最快，平均跳槽速度為19.8個月。根據中國商業聯合會資料分析專業委員會統計，未來中國基礎性資料分析人才缺口將達到1400萬。

當下IT行業最火的莫過於AI+Big Data+Cloud這三個行業，即人工智慧、大資料、雲端計算。關於這三個行業的名詞定義大家可以百度查閱，在此小編就不廢話了。

很多人都會留言問小編，零基礎能學好大資料嗎？零基礎如何才能高效的學習大資料呢？零基礎當然是可以學好大資料的，沒有人天生就會資料分析吧？所以今天我們就來討論討論零基礎如何高效學習大資料。

首先，在你什麼都不懂的情況下，打好基礎是很重要的，而大資料的基礎就是：

很多初學者，對大資料的概念都是模糊不清的，大資料是什麼，能做什麼，學的時候，該按照什麼線路去學習，學完往哪方面發展，想深入瞭解，想學習的同學歡迎加入大資料學習qq群：458345782，有大量乾貨（零基礎以及進階的經典實戰）分享給大家，並且有清華大學畢業的資深大資料講師給大家免費授課，給大家分享目前國內最完整的大資料高階實戰實用學習流程體系。

1、Bloom Filter過濾器資料分片與路由：挑一個典型的分割槽演算法去學習，比如一致性雜湊演算法。

2、備份機制與一致性。

3、學習CAP理論。

4、冪等性：現在很多的分散式系統狀態管理的基石。

5、各種一致性模型，例如：強一致性、弱一致性、最終一致。

6、備份機制：主從的叫法已經不怎麼流行了，當前更cool的叫法7、是Leader-Follower模式。

8、共識協議：在咱們國家通常翻譯成一致性協議。只要學習常見 的幾種就可以：Paxos或者Raft。

9、演算法和資料結構。

10、LSM：學習和B+樹的區別以及優勢。

11、壓縮演算法：1，找一個主流的壓縮演算法進行了解，例如Snappy， LZ4。

12、Bloom Filter過濾器。

看上去是不是有點複雜？沒關係接著看下去我會告訴你如何簡單化。以上不管你是想成為一個大資料分析師還是大資料科學家都必須掌握的基礎知識。

掌握基礎以後你就可以選擇發展方向了，大資料行業分為兩大方向發展：

1、大資料分析

2、大資料工程

這兩種角色相互產生交集又獨立運作，如果沒有大資料超級工程，大資料分析這個角色便無任何意義；沒有大資料分析，大資料工程也沒有存在的意義和理由。這就相當於結婚和戀愛，戀愛的最終是目標就是結婚，不以結婚為目的的戀愛就是是耍流氓，哈哈，道理都一樣。

大資料工程需要的是處理資料的定義、收集、計算與儲存工作，所以大資料建設者們在設計和部署這樣的系統時首先考慮的應該是資料高可用的問題，這段話可以理解為大資料工程系統需要隨時地為分析系統提供資料服務。

而大資料分析角色的定位於如何利用資料，可以理解成從大資料工程系統中接收到的資料之後，如何為企業提供資料分析，並且能夠幫助到企業或者公司進行業務改善和提升服務水平的目的，因此對於大資料分析師來說，首要解決的問題是發現並且利用資料的價值，具體包括：趨勢分析、模型建立以及預測分析等。

當你想成為一名大資料分析師，以下就是必備技能：

1、數學功底：微積分是嚴格要掌握的。一元微積分是必須要熟練掌握並使用的。線性代數要精通，矩陣的運算、向量空間、秩等概念。

2、回顧同濟版《高等數學》，有能力的可以去Coursea學習賓夕法尼亞大學的微積分課程。

3、推薦學習Strang的線性代數：《Introduction to Linear Algebra》

4、數理統計：概率論和各種統計學方法要做到基本掌握，找一本《概率論》重新學習下。

5、互動式資料分析框架：這裡指的是Apache Hive或Apache Kylin這樣的分析互動框架，首先學習Hive，有時間的話瞭解一下Kylin以及背後的資料探勘思想。

6、機器學習框架：小編還是建議可以從機器學習演算法的原理來進行學習，看到機器學習的框架，我覺得大家應該能想到很多種,比如TensorFlow、Caffe8、Keras9、CNTK10、Torch711等，這裡領銜的是TensorFlow。小編建議大家選取其中的一個框架進行學習。

7、Udacity的課程是非常入門級的機器學習課程。

8、學習Python的scikit-learn。

當你想成為一名大資料工程師，以下就是必備技能：

1、一門JVM系語言 ，建議先學習Java或Scala。

2、計算處理框架：嚴格來說，這分為離線批處理和流式處理，建議學習Flink、Spark Streaming或Kafka Streams中的一個。

3、分散式儲存框架：建議學習HDFS。

4、資源排程框架：建議學習YARN。

5、分散式協調框架：建議學習Zookeeper——太多大資料框架都需要它了，比如Kafka, Storm, HBase等。

6、KV資料庫：典型的就是memcache和Redis了，特別是Redis簡直是發展神速，建議學習Redis，如果C語言功底好的，最好熟讀原始碼，反正原始碼也不多。

7、列式儲存資料庫：建議學習HBASE，這是目前應用最廣泛的開源列式儲存。

8、訊息佇列：大資料工程處理中訊息佇列作為“削峰填谷”的主力系統是必不可少的，當前該領域內的解決方案有很多，包括ActiveMQ，Kafka等。建議學習Kafka，不僅僅好找工作，還能觸類旁通進一步理解基於備份日誌方式的資料處理範型。

綜上呢，就是小編為大家整理的學習方向以及學習內容了

大家喜歡多多關注，會不定期更新