1. 程式人生 > >學hadoop需要什麽基礎

學hadoop需要什麽基礎

per 什麽 out 學習 http 發行版 生態 網絡 的人

最近一段時間一直在接觸關於hadoop方面的內容,從剛接觸時的一片空白,到現在也能夠說清楚一些問題。這中間到底經歷過什麽只怕也就是只有經過的人才會體會到吧。前幾天看到有個人問“學hadoop需要什麽基礎”,這個問題好像至今還沒好好細想過,可能是因為身邊有大神在帶著我學習hadoop的緣故,也就沒想過這樣的一個簡單的問題。

我們目前在用的hadoop版本並不是原生態的版本,我們在用的是國內的一款商業發行版,叫DKhadoop。大快搜索推出的一款原生態開發的Hadoop集成生態環境。從使用的效果上看DKhadoop與開源環境是可以做到完全兼容的。準備過段時間抽個空,試著寫一下以DKhadoop為切入點關於學習

hadoop需要掌握什麽基礎。

技術分享圖片

DKhadoop基礎技術架構圖】

關於學hadoop需要什麽基礎這樣的問題,看到一篇關於介紹學習原生hadoop的分享,個人覺得還是很不錯的一篇文章。這裏也分享給大家,供參考之用。

關於學習hadoop需要具備什麽基礎知識,首先應該從整體了解hadoop,包括hadoop是什麽,能夠幫助我們解決什麽問題,以及hadoop的使用場景等。在有了整體上的了解後,就可以開始系統的學習hadoop。當然,若是能夠結合一些實踐性的東西學習會更有助於理解hadoop

學習hadoop需要什麽基礎:

Linux

① 需要能夠熟練操作linux常用命令以及網絡配置;

② 熟悉用戶以及權限管理操作;

③ 需要熟悉軟件包以及系統命令管理;

④ 還需要學習一下shell編程。

Java

⑤ 需要具備一定的javase基礎知識;

⑥ 如果懂java web及各種框架知識那就更好了。

虛擬機:

⑦ 需要掌握虛擬機;

⑧ 需要安裝linux操作系統

⑨ 需要配置虛擬機網絡

除了上述這幾個方面,我們還需要了解hadoop的單機模式、偽分布模式和分布式模式的搭建方式。了解MapReduce分布式計算框架、Yarn集群資源管理和調度平臺、hdfs分布式文件系統、hive數據倉庫、HBase實時分布式數據庫、Flume日誌收集工具、sqoop數據庫ETL工具、zookeeper分布式協作服務、Mahout

數據挖掘庫等

學hadoop需要什麽基礎