搭建環境介紹

• 系統為 Centos6.5 （影響不大）
• JDK 為open-jdk-1.7.0_45
• 在 hadoop 使用者許可權下完成
• IP 地址為 10.6.2.102
• hadoop 軟體壓縮包位於 /home/hadoop/softwares
• hadoop 解壓之後安裝於 /home/hadoop/
-

配置安裝環境

配置 Hadoop

解壓 hadoop 壓縮包：

tar -zxvf /home/hadoop/softwares/Hadoop-2.5.0-cdh5.3.2.tar.gz   -C /home/hadoop/

通過檢視可得知目錄結構：

圖中的 /etc 目錄即為 Apache Hadoop 裡的 /conf 目錄

修改一系列相關配置檔案：

cd /home/hadoop/hadoop-2.5.0-cdh5.3.2/etc/hadoop
ll 

1. 修改 hadoop-env.sh 檔案

vim hadoop-env.sh

新增如下程式碼：

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME
 
/lib/native"

2. 配置core-site.xml

vim core-site.xml

在新增如下程式碼：

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost</value>
</property>

3. 配置hdfs-site.xml:

vim hdfs-site.xml

新增如下程式碼：

<property>
        <name>dfs.replication</name
 
>
        <value>1</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hdfs</value>
</property>
<property>
        <name>dfs.namenode.http-address</name>
        <value>localhost:50070</value>
</property>

<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>localhost:50090</value>
</property>

4. 配置yarn-site.xml:

<property>
    <name>yarn.resourcemanager.hostname</name>
      <value>localhost</value>
</property>

<property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
</property>

<property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

5. 配置 slaves ：

vim slaves

如果裡面是 localhost ，則無需修改

啟動 Hadoop

1. 格式化

cd  /home/hadoop/hadoop-2.5.0-cdh5.3.2/bin
./hadoop namenode -format

出現下面則格式化成功:

2. 啟動hadoop

cd  /home/hadoop/hadoop-2.5.0-cdh5.3.2/sbin 
./start-dfs.sh                     
./start-yarn.sh

只是因為設定的本地庫位置沒有相應的庫檔案，但是直接編譯該版本，又失敗了！所以筆者通過編譯 Hadoop-2.5.0-cdh5.2.0 來實現曲線救國，如果有興趣，請參考 Hadoop-2.5.0-cdh5.2.0 獲取原始碼及編譯

將編譯之後的本地庫native 裡的所有檔案，直接拷貝到 Hadoop-2.5.0-cdh5.3.2/lib/native 目錄下。如果懶得編譯，可以直接從筆者的部落格資源處免費下載 native(hadoop-2.5.0-cdh5.2.0).tar

然後，看起來就 OK 了~

檢視程序 ： jps