1. 程式人生 > >Hadoop原始碼閱讀環境搭建(IDEA) Hadoop原始碼編譯環境搭建 IDEA配置maven中央庫

Hadoop原始碼閱讀環境搭建(IDEA) Hadoop原始碼編譯環境搭建 IDEA配置maven中央庫

拿到一份Hadoop原始碼之後,經常關注的兩件事情就是

1、怎麼閱讀?涉及IDEA和Eclipse工程搭建。IDEA搭建,選擇原始碼,逐步匯入即可;Eclipse可以選擇後臺生成工程,也可以選擇IDE匯入。二者工程也可以互相匯入\到處。

2、怎麼構建?利用maven,生成安裝包。

二者均需配置maven,相關工具配置參考另兩篇帖子《Hadoop原始碼編譯環境搭建》和《IDEA配置maven中央庫

1、下載原始碼

http://mirror.bit.edu.cn/apache/hadoop/common/

 

2、匯入IDEA工程

新建工程:

File-->New-->Project from Existing Sources

 

選擇原始碼目錄:

 

 

選擇maven:

 

 

 選擇"Search for projects recursively",並設定maven環境變數。

 

依次選擇所需工程:

開始scanning工程: 

 

 掃描完成之後:

 

3、查閱原始碼

經常看到各種大神總結帖子講述HDFS、MapReduce和yarn等相關原理、配置引數,版本各一。

而真正的原理和機制關鍵在於架構設計和程式碼實現。官方文件和原始碼實現才是學習正途,前人的總結與分享應該作為一種借鑑和捷徑;奇正犄角,學習一種新東西。

 一個Hadoop原始碼閱讀工程就建立好了。比如開啟FsShell