導讀：
      按部落格中的操作步驟操作後，hadoop 編譯完成後可以支援5種本地壓縮：zlib、snappy、lz4、bzip2、openssl

筆者環境配置為：JDK1.8、Hadoop2.7.3，Hive2.3.0，你也可以使用其它版本，注意版本相容即可

1.安裝依賴工具

1.安裝相關工具

由於筆者是最小安裝，所以很多工具都沒有安裝，具體需要安裝哪些的工具，也不太清楚，所以就安裝了很多。建議你使用root使用者安裝。

# yum -y  install make gcc gcc-c++ gcc-g77 flex bison file libtool libtool-libs autoconf kernel-devel libjpeg libjpeg-devel libpng libpng-devel libpng10 libpng10-devel gd gd-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glib2 glib2-devel bzip2 bzip2-devel libevent libevent-devel ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5 krb5-devel libidn libidn-devel openssl openssl-devel gettext gettext-devel ncurses-devel gmp-devel pspell-devel unzip libcap lsof build-essential cmake 1g-dev pkg-config libssl-dev lzo-devel fuse fuse-devel zlib1g-dev libprotobuf-dev protobuf-compiler snappy libbz2-dev libjansson-dev libfuse-dev
 

如果安裝完上述工具後，還是缺少可以使用如下命令來檢測安裝

# yum -y groupinstall “Development Tools”

2.安裝protobuf

解壓編譯安裝

# tar -zxvf protobuf-2.5.0.tar.gz
# cd /home/hadoop/protobuf-2.5.0
# ./configure --prefix=/home/hadoop/protobuf/  
# make && make install

環境變數

# vim ~/.bashrc
# source ~/.bashrc

export PATH=/home/hadoop
 
/protobuf/bin:$PATH

如果在編譯安裝的時候報如下錯誤
libtool: install: error: cannot install `libaprutil-1.la’ to a directory
原因：可能是以前安裝用過./configure，導致安裝檔案已經不太“乾淨”
解決方法：
(1).執行命令make clean
(2).刪除剛剛編譯安裝的目錄protobuf，重新解壓安裝編譯即可

3.安裝snappy

解壓編譯安裝

# tar -zxvf snappy-1.1.1.tar.gz
# cd snappy-1.1.1
# ./configure
# make && make install
 

檢查snappy是否安裝完成

ll /usr/local/lib/ | grep snappy

2.hadoop 編譯

1.配置maven

解壓、重新命名、配置環境變數

# tar -zvxf apache-maven-3.3.9-bin.tar.gz
# mv apache-maven-3.3.9-bin.tar.gz maven3
# vim ~/.bashrc

export MAVEN_HOME=/home/hadoop/maven3
export M2_HOME=$MAVEN_HOME

重新載入檔案，使環境變數立即生效

# source ~/.bashrc

建立.m2檔案，複製setting到該目錄

# cd /home/hadoop
# mkdir .m2

2.編譯hadoop

hadoop 編譯前將hadoop本地庫加入到環境變數

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

從官網下載hadoop的原始碼包，解壓

$ tar -zxvf hadoop-2.7.3-src.tar.gz
$ cd hadoop-2.7.3-src/

輸入如下命令開始編譯，編譯過程較長，耐心等待

$ mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X

如果看到BUILD SUCCESS，且沒有異常資訊，說明hadoop已經編譯成功

編譯完成後可以看到hadoop的壓縮包

$ cd /home/hadoop/hadoop-2.7.3-src/hadoop-dist/target

筆者配置的hadoop 的偽分散式，解壓編譯好的hadoop壓縮包，替換掉裡面的配置檔案即可，啟動輸入如下命令

$ hdfs namenode -format    #只在第一次啟動時執行
$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver

啟動過程中老是提示輸入密碼，解決方法是配置ssh無密登入，輸入如下命令即可

$ su root
# ssh-keygen -t rsa
# cp id_rsa.pub authorized_keys
# exit

檢查hadoop的本地庫

$ hadoop checknative