騰訊大樓

當一波又一波的IT技術熱潮源源不斷地向我們鋪面而來的時候，你甚至都沒有做好準備，你都要開始迎接它所給你帶來的影響了。經過物聯網，雲端計算的推波助瀾下，大資料開始登場了。大資料並不是一個充斥著演算法和機器的冰冷世界，人類的作用依然無法被完全替代。我自己是名大資料程式設計師，建了一個大資料資源共享群593188212 每天分享大資料學習資料和學習方法，大資料為我們提供的不是最終答案，只是參考答案，幫助是暫時的，而更好的方法和答案還在不久的未來。

資料統計

一個優秀的大資料工程師要具備一定的邏輯分析能力，並能迅速定位某個商業問題的關鍵屬性和決定因素。學習能力能幫助大資料工程師快速適應不同的專案，並在短時間內成為這個領域的資料專家；溝通能力則能讓他們的工作開展地更順利，因為大資料工程師的工作主要分為兩種方式：由市場部驅動和由資料分析部門驅動，前者需要常常向產品經理了解開發需求，後者則需要找運營部瞭解資料模型實際轉化的情況。

女程式

大資料相關的技能，從資料本身來說，大概需要從資料獲取、資料處理、資料分析、資料儲存和資料探勘來說，具體如下：

1.資料獲取：日誌收集Scribe、Flume和爬蟲等

2.資料處理：流式計算的storm，sparkstreaming、Hadoop、訊息佇列相關的如Kafka等

3.資料分析：HIVE、SPARK、基本演算法、資料結構等

4.資料儲存：HDFS等

5.資料探勘：機器學習相關演算法，聚類、時間序列、推薦系統、迴歸分析、文字挖掘、貝葉斯分類 、神經網路等

大資料分類