• 上傳hadoop安裝包 上傳到msater的/usr/local/soft/
  • hadoop-2.7.6.tar.gz

• 解壓
  • tar -xvf hadoop-2.7.6.tar.gz

• 配置環境變數
  • vim /etc/profile
  • 增加hadoop環境變數，將bin和sbin都配置到PATh中

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• source /etc/profile

• 修改配置檔案
  • hadoop 配置檔案在/usr/local/soft/hadoop-2.7.6/etc/hadoop/
  • cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

• slaves ： 從節點列表（datanode）
• vim slaves
• 增加node1, node2 （你自己的從機名稱）

• hadoop-env.sh ： Hadoop 環境配置檔案
  • vim hadoop-env.sh
    • 修改JAVA_HOME （你自己的JAVA路徑）

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

• core-site.xml ： hadoop核心配置檔案
  • vim core-site.xml
    • 在configuration中間增加以下內容

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

• hdfs-site.xml ： hdfs配置檔案
  • vim hdfs-site.xml
    • 在configuration中間增加以下內容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

• yarn-site.xml： yarn配置檔案
  • vim yarn-site.xml
    • 在configuration中間增加以下內容

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>  
<name>yarn.nodemanager.resource.memory-mb</name>  
<value>20480</value>  
</property>  
<property>  
<name>yarn.scheduler.minimum-allocation-mb</name>  
<value>2048</value>  
</property>  
<property>  
<name>yarn.nodemanager.vmem-pmem-ratio</name>  
<value>2.1</value>  
</property>  

• mapred-site.xml： mapreduce配置檔案
  • 重新命名
    • mv mapred-site.xml.template mapred-site.xml
    • vim mapred-site.xml
      • 在configuration中間增加以下內容

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>  
<name>mapreduce.jobhistory.address</name>  
<value>master:10020</value>  
</property>  
<property>  
<name>mapreduce.jobhistory.webapp.address</name>  
<value>master:19888</value>  
</property>

• 將hadoop安裝檔案同步到子節點
  • scp -r /usr/local/soft/hadoop-2.7.6/ node1:/usr/local/soft/
  • scp -r /usr/local/soft/hadoop-2.7.6/ node2:/usr/local/soft/
  • scp -r /etc/profile node1:/etc/profile
  • scp -r /etc/profile node2:/etc/profile

• 格式化namenode
  • cd /usr/local/soft/hadoop-2.7.6/bin
  • ./hdfs namenode -format

• 啟動hadoop
  • start-all.sh

• 訪問hdfs頁面驗證是否安裝成功
  • http://master:50070

• 如果安裝失敗
  • stop-all.sh
• 再次重啟的時候
  • 需要手動將每個節點的tmp目錄刪除: 所有節點都要刪除
  • rm -rf /usr/local/soft/hadoop-2.7.6/tmp
  • 然後執行將namenode格式化
• 在主節點執行命令:
  • hdfs namenode -format
• 啟動hadoop
  • start-all.sh