Hadoop原始碼閱讀環境搭建(IDEA) Hadoop原始碼編譯環境搭建 IDEA配置maven中央庫
阿新 • • 發佈:2018-12-16
拿到一份Hadoop原始碼之後,經常關注的兩件事情就是
1、怎麼閱讀?涉及IDEA和Eclipse工程搭建。IDEA搭建,選擇原始碼,逐步匯入即可;Eclipse可以選擇後臺生成工程,也可以選擇IDE匯入。二者工程也可以互相匯入\到處。
2、怎麼構建?利用maven,生成安裝包。
二者均需配置maven,相關工具配置參考另兩篇帖子《Hadoop原始碼編譯環境搭建》和《IDEA配置maven中央庫》
1、下載原始碼
http://mirror.bit.edu.cn/apache/hadoop/common/
2、匯入IDEA工程
新建工程:
File-->New-->Project from Existing Sources
選擇原始碼目錄:
選擇maven:
選擇"Search for projects recursively",並設定maven環境變數。
依次選擇所需工程:
開始scanning工程:
掃描完成之後:
3、查閱原始碼
經常看到各種大神總結帖子講述HDFS、MapReduce和yarn等相關原理、配置引數,版本各一。
而真正的原理和機制關鍵在於架構設計和程式碼實現。官方文件和原始碼實現才是學習正途,前人的總結與分享應該作為一種借鑑和捷徑;奇正犄角,學習一種新東西。
一個Hadoop原始碼閱讀工程就建立好了。比如開啟FsShell類: