第2章 Hadoop快速入門

常見的Hadoop部署模式分為單機模式和叢集模式，也稱為偽分散式模式和分散式模式。 
單機模式（偽分散式）模式是在一個節點上部署所有的Hadoop服務。在使用上，單機模式（偽分散式）模式跟叢集模式（分散式模式）是一樣的。

2.3 Hadoop單機配置

2.3節到2.5節內容參考官方文件： 
http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html

2.3.1 修改hadoop-env.sh

Hadoop的配置檔案存放於Hadoop根目錄下的etc/hadoop目錄，進入該目錄 

通過vi hadoop-env.sh命令來編輯hadoop-env.sh指令碼檔案 

在第25行左右可以找到export JAVA_HOME=${JAVA_HOME}內容 

將改行修改為export JAVA_HOME=/opt/jdk1.8.0_112 
 
然後儲存退出

2.3.2 修改slaves檔案

同樣通過命令vi slaves編輯slaves檔案 
 
將預設值localhost修改為node1，儲存退出。 

2.3.3 修改hdfs-site.xml

vi hdfs-site.xml

[root@node1 hadoop]# vi hdfs-site.xml
      

       
1
      
      

 
在<configuration>和</configuration>之間新增如下內容：

      

       

        
         
        
        
         
          <property>
         
        
 

       

        
         
        
        
              
          <name>dfs.replication
          </name>
         
        
       

        
         
        
        
              
          <value>1
          </value>
         
        
       

        
         
        
        
         
          </property>
         
        
      
      

       
1
       
2
       
3
       
4
      
      

儲存退出

2.3.4 修改core-site.xml

vi core-site.xml

[root@node1 hadoop]# vi core-site.xml
      

       
1
      
      

 
在<configuration>和</configuration>之間新增如下內容：

      

       

        
         
        
        
         
          <property>
         
        
       

        
         
        
        
              
          <name>fs.defaultFS
          </name>
         
        
       

        
         
        
        
              
          <value>hdfs://node1:9000
          </value>
         
        
       

        
         
        
        
         
          </property>
         
        
      
      

       
1
       
2
       
3
       
4
      
      

儲存退出

2.3.5 修改mapred-site.xml 檔案

預設情況下該目錄下沒有mapred-site.xml檔案，而是存在一個模版檔案mapred-site.xml.template，因此首先將模版檔案複製一份為mapred-site.xml。然後在通過vi編輯該mapred-site.xml檔案 
cp mapred-site.xml.template mapred-site.xml 
vi mapred-site.xml

      

       

        
         
        
        
         
          [root
          @node1 hadoop]
          # cp mapred-site.xml.template mapred-site.xml
         
        
       

        
         
        
        
         
          [root
          @node1 hadoop]
          # vi mapred-site.xml
         
        
      
      

       
1
       
2
      
      

 
在<configuration>和</configuration>之間新增如下內容：

      

       

        
         
        
        
         
          <property>
         
        
       

        
         
        
        
             
          <name>mapreduce.framework.name
          </name>
         
        
       

        
         
        
        
             
          <value>yarn
          </value>
         
        
       

        
         
        
        
         
          </property>
         
        
      
      

       
1
       
2
       
3
       
4
      
      

 
儲存退出。

2.3.6 修改yarn-site.xml

vi yarn-site.xml

[root@node1 hadoop]# vi yarn-site.xml
      

       
1
      
      

 
在<configuration>和</configuration>之間新增如下內容：

      

       

        
         
        
        
         
          <property>
         
        
       

        
         
        
        
              
          <name>yarn.nodemanager.aux-services
          </name>
         
        
       

        
         
        
        
              
          <value>mapreduce_shuffle
          </value>
         
        
       

        
         
        
        
         
          </property>
         
        
      
      

       
1
       
2
       
3
       
4
      
      

儲存退出

第2章 Hadoop快速入門

常見的Hadoop部署模式分為單機模式和叢集模式，也稱為偽分散式模式和分散式模式。 
單機模式（偽分散式）模式是在一個節點上部署所有的Hadoop服務。在使用上，單機模式（偽分散式）模式跟叢集模式（分散式模式）是一樣的。

2.3 Hadoop單機配置

2.3節到2.5節內容參考官方文件： 
http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html

2.3.1 修改hadoop-env.sh

Hadoop的配置檔案存放於Hadoop根目錄下的etc/hadoop目錄，進入該目錄 

通過vi hadoop-env.sh命令來編輯hadoop-env.sh指令碼檔案 

在第25行左右可以找到export JAVA_HOME=${JAVA_HOME}內容 

將改行修改為export JAVA_HOME=/opt/jdk1.8.0_112 
 
然後儲存退出

2.3.2 修改slaves檔案

同樣通過命令vi slaves編輯slaves檔案 
 
將預設值localhost修改為node1，儲存退出。 

2.3.3 修改hdfs-site.xml

vi hdfs-site.xml

[root@node1 hadoop]# vi hdfs-site.xml
    

     
1
    
    

 
在<configuration>和</configuration>之間新增如下內容：

    

     

      
       
      
      
       
        <property>
       
      
     

      
       
      
      
            
        <name>dfs.replication
        </name>
       
      
     

      
       
      
      
            
        <value>1
        </value>
       
      
     

      
       
      
      
       
        </property>
       
      
    
    

     
1
     
2
     
3
     
4
    
    

儲存退出

2.3.4 修改core-site.xml

vi core-site.xml

[root@node1 hadoop]# vi core-site.xml
    

     
1
    
    

 
在<configuration>和</configuration>之間新增如下內容：

    

     

      
       
      
      
       
        <property>
       
      
     

      
       
      
      
            
        <name>fs.defaultFS
        </name>
       
      
     

      
       
      
      
            
        <value>hdfs://node1:9000
        </value>
       
      
     

      
       
      
      
       
        </property>
       
      
    
    

     
1
     
2
     
3
     
4
    
    

儲存退出

2.3.5 修改mapred-site.xml 檔案

預設情況下該目錄下沒有mapred-site.xml檔案，而是存在一個模版檔案mapred-site.xml.template，因此首先將模版檔案複製一份為mapred-site.xml。然後在通過vi編輯該mapred-site.xml檔案 
cp mapred-site.xml.template mapred-site.xml 
vi mapred-site.xml

    

     

      
       
      
      
       
        [root
        @node1 hadoop]
        # cp mapred-site.xml.template mapred-site.xml
       
      
     

      
       
      
      
       
        [root
        @node1 hadoop]
        # vi mapred-site.xml
       
      
    
    

     
1
     
2
    
    

 
在<configuration>和</configuration>之間新增如下內容：

    

     

      
       
      
      
       
        <property>
       
      
     

      
       
      
      
           
        <name>mapreduce.framework.name
        </name>
       
      
     

      
       
      
      
           
        <value>yarn
        </value>
       
      
     

      
       
      
      
       
        </property>
       
      
    
    

     
1
     
2
     
3
     
4
    
    

 
儲存退出。

2.3.6 修改yarn-site.xml

vi yarn-site.xml

[root@node1 hadoop]# vi yarn-site.xml
    

     
1
    
    

 
在<configuration>和</configuration>之間新增如下內容：

    

     

      
       
      
      
       
        <property>
       
      
     

      
       
      
      
            
        <name>yarn.nodemanager.aux-services
        </name>
       
      
     

      
       
      
      
            
        <value>mapreduce_shuffle
        </value>
       
      
     

      
       
      
      
       
        </property>
       
      
    
    

     
1
     
2
     
3
     
4
    
    

儲存退出