Hadoop分散式叢集環境搭建步驟如下

實驗環境：
系統：win7
記憶體：8G(因要開虛擬機器，記憶體建議不低於8G)
硬碟：建議固態
虛擬機器：VMware 12
Linux：Centos 7
jdk1.7.0_67
hadoop-2.5.0.tar.gz

• 1.安裝VMware虛擬機器環境
• 2.安裝Centos作業系統
• 3.修改主機名配置網路
• 4.配置ssh無密碼登入
• 5.上傳jdk配置環境變數
• 6.上傳hadoop配置環境變數
• 7.修改hadoop配置檔案
• 8.格式化namenode
• 9.啟動hadoop並測試

1安裝VMware虛擬機器環境

這一步很簡單，直接下載安裝包下一步，安裝成功之後開啟輸入註冊碼

5A02H-AU243-TZJ49-GTC7K-3C61N
GA1T2-4JF1P-4819Y-GDWEZ-XYAY8
FY1M8-6LG0H-080KP-YDPXT-NVRV2
ZA3R8-0QD0M-489GP-Y5PNX-PL2A6
FZ5XR-A3X16-H819Q-RFNNX-XG2EA
ZU5NU-2XWD2-0806Z-WMP5G-NUHV6
VC58A-42Z8H-488ZP-8FXZX-YGRW8

2安裝Centos作業系統

我這裡安裝了3臺Linux，一臺作為namenode，兩臺作為datanode，使用的是Centos7 64位，建議使用Centos，原因很簡單，免費開源，屬於重量級Linux,更接近生產環境，當然用其它版本也是可以的。
下載地址：

3.修改主機名配置網路

namenode:master
datanode:slave1 slave2

執行以下命令
vi /etc/hostname
將localhost改為master
另外兩臺分別改為slave1和slave2
接著執行以下命令
vi /etc/hosts
將三臺linux的ip和主機名加進去
192.168.149.138 master
192.168.149.139 slave1
192.168.149.140 slave2
以上地址根據自己主機填寫

4配置ssh無密碼登入

在master上執行以下命令

ssh-keygen
上一步執行完之後將會生成公鑰和私鑰
cd ~/.ssh
在.ssh目錄執行ll命令會看到id_rsa和id-rsa.pub兩個檔案，第一個是私鑰，第二個是公鑰
然後執行
ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]
ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]
這樣就把公鑰拷到了另外兩臺linux上
然後測試是否成功
ssh 192.168.149.139
如果不要密碼則配置成功

5 上傳jdk配置環境變數

將jdk上傳至centos

執行以下命令
tar -zxvf jdk1.7.0_67
vi /etc/profile
將Java環境變數配置好之後
source /etc/profile 讓配置生效
檢視是否配好
java -version

6上傳hadoop配置環境變數

將hadoop安裝包上傳至centos

執行以下命令
tar -zxvf hadoop-2.5.0.tar.gz
mv hadoop-2.5.0.tar.gz hadoop 重新命名
配置hadoop環境變數同Java。PATH路徑分別為bin和sbin
檢視是否成功
hadoop version

7修改hadoop配置檔案

需要修改的檔案有 hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml
yarn-site.xml

hadoop-env.sh

將JAVA_HOME路徑新增進去

core-site.xml

<configuration>  
    <property>  
        <name>fs.default.name</name>  
        <value>hdfs://master:9000</value>  
    </property>   
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/usr/local/hadoop/tmp</value>   
    </property>  
</configuration>  

hdfs-site.xml

<configuration>   
        <property>
               <name>dfs.replication</name>  
               <value>1</value>  
        </property>    
</configuration>  

mapred-site.xml

<configuration>  
          <property>                                                                    
　　　　　　　　<name>mapreduce.framework.name</name>  
                <value>yarn</value>  
           </property>  
</configuration>  

yarn-site.xml

<configuration>  
        <property>  
              <name>yarn.resourcemanager.hostname</name>  
               <value>master</value>  
       </property>
        <property>  
               <name>yarn.nodemanager.aux-services</name>  
               <value>mapreduce_shuffle</value>  
        </property>  
</configuration>

注意：配置完成後別忘了把master上的hadoop拷貝到slave1和slave2上，使用命令：scp -r /usr/local/haoop slave1:/usr/local/

8格式化namenode

執行以下命令
hadoop namenode -format
start-dfs.sh
start-yarn.sh

9啟動hadoop並測試

master上執行以下命令測試

jps
如結果如下則表示搭建成功
ResourceManager
Jps
NameNode
NodeManager
SecondaryNameNode
slave1和slave2上執行以下命令測試
jps
NodeManager
DataNode
Jps

至此hadoop分散式叢集環境搭建就成功了！