Hadoop-2.7.3-src 源碼編譯
Hadoop-2.7.3 編譯
1.需要環境梳理
BUILDING JDK1.7+
maven 3.0 or later
findbugs 1.3.9
protocolBuffer 2.5.0
cmake 2.6
zlib-devel
openssl-devel ...
2.安裝JDK
JDK 下載jdk-8u181-linux-x64.tar.gz,解壓後移動到/app 目錄下 tar -zxvf jdk-8u181-linux-x64.tar.gz && ln -s jdk1.8.0_181 jdk
配置jdk環境變量(profile or bashrc)
vim /etc/profile
export JAVA_HOME=/app/jdk
export CLASSPATH=.:\(JAVA_HOME/jre/lib/rt.jar:\)JAVA_HOME/lib/tools.jar
export PATH=\(PATH:\)JAVA_HOME/bin
export JRE_HOME=/app/jdk/jre
export PATH=\(PATH:\)JRE_HOME/bin
3.安裝各種依賴庫
yum -y install svn ncurses-devel gcc*
yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel
4.安裝protobuf-2.5.0.tar.gz(註意版本必須是2.5.0,hadoop 體系目前均采用 2.5.0版本作為數據交換的標準格式,Hadoop 3.X.X 也對此均未升級)
Protobuf can be found for download here.
tar zxvf protobuf-2.5.0.tar.gz,
進入protobuf-2.5.0 依次執行.
cd protobuf-2.5.0 進入目錄,
Here is the code:
假如你希望編譯成功後輸出的目錄 為 /usr/protobuf/ 則輸入如下兩條命令: ./configure --prefix=/usr/protobuf/ make && make install 編譯成功後將export PATH=/usr/protobuf/:$PATH加入到環境變量中,重新登陸或者直接source 使其生效。 (註意PATH 添加謹慎空格換行等特殊操作符號,以免使系統本身環境變量失效) 最後輸入 protoc --version命令,如顯示libprotoc 2.5.0則安裝成功
5.安裝maven
下載apache-maven-3.6.0-bin.tar.gz 到/app 目錄
解壓縮並配置環境變量
tar -zxvf apache-maven-3.6.0-bin.tar.gz
ln -s apache-maven-3.6.0 maven
配置環境變量:
vim /etc/profile
在末尾添加:
export MAVEN_HOME=/app/maven
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$PATH:$MAVEN_HOME/bin
6.安裝ant
下載apache-ant-1.9.4-bin.tar.gz 到/app 目錄下
解壓縮並配置環境變量
解壓:
cd /app
tar -zxvf apache-ant-1.9.4-bin.tar.gz
ln -s apache-ant-1.9.4 ant
配置環境變量
同上,在/etc/profile文件末未添加:
export ANT_HOME=/app/ant
export PATH=$PATH:$ANT_HOME/bin
然後保存,退出,並source使更改生效。
查看安裝結果:
ant -version
7.安裝findbugs
下載findbugs-3.0.1.tar.gz 到 /app 目錄
解壓縮並配置環境變量
解壓:
tar -zxvf findbugs-3.0.1.tar.gz
ln -s findbugs-3.0.1 findbugs
配置環境變量:
在 /etc/profile 文件末尾添加:
export FINDBUGS_HOME=/opt/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin
保存退出,並source使更改生效。
8.編譯Apache Hadoop 2.7.3
進入到hadoop-2.7.3-src目錄
cd hadoop-2.7.3-src
mvn package -Pdist,native -DskipTests -Dtar
等待編譯完成,安裝包會生成在目錄
/hadoop-dist/target/*******
Hadoop-2.7.3-src 源碼編譯