Hadoop2.x系列之源碼編譯
阿新 • • 發佈:2017-11-10
bsp 要求 findbugs 1.3 結束 移動 替換 編譯工具 新版
一、編譯源碼步驟演示詳解
官網下載的hadoop包,執行hadoop命令時,會有警告信息,為去除此警告,需要重新編譯hadoop相應版本的源碼,替換hadoop安裝包lib目錄下的native(警告如下圖所示)
. 編譯hadoop環境要求
1、必須在linux系統下編譯
2、編譯使用的JDK版本必須是1.6以上
3、編譯需要使用Maven版本3.0以上(因為源碼是由Maven管理的)
4、安裝Findbugs插件工具,版本1.3.9
5、安裝CMake編譯工具,版本2.6或最新版本
6、安裝zlib devel
7、安裝openssl devel
8、編譯時必須連接互聯網
=================================== 編譯開始 ===================================
第一步:解壓hadoop源碼安裝包:版本以hadoop-2.7.3-src.tar.gz為例,解壓之前需在此鏈接中下載2.7.3版本的源碼包(https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/)
第二步:配置JDK, 並使profile文件生效,版本:1.8 (必須得有root權限)
第三步:配置Maven,並使profile文件生效, (必須得有root權限)
第四步:安裝gcc/gcc-c++/make工具,(必須得有root權限)
第五步:解壓安裝protobuf工具,此包提供下載鏈接:http://pan.baidu.com/s/1kUK5HHH
第六步:配置protobuf環境變量
第七步:下載安裝CMake、openssl-devel、ncurses-devel依賴包
第八步:開始編譯hadoop源碼包,先移動到hadoop源碼安裝目錄下
編譯成功!整個過程大約需要等待20~30分鐘,如下圖
第九步:替換原來的native目錄,執行命令查看下,不再提示警告,編譯好的文件在源碼安裝包的hadoop-dist目錄下,具體目錄替換目錄如下圖所示:
=================================== 編譯結束 ===================================
Hadoop2.x系列之源碼編譯