Hadoop叢集搭建-05安裝配置YARN

先保證叢集5臺虛擬機器,

	nn1	nn2	s1	s2	s3
hadoop	是	是	是	是	是
zookeeper	是	是	是
namenode	是	是
jouralnode	是	是
datanode			是	是	是

1.然後啟動yarn在nn1機器上：

[hadoop@nn1 hadoop]$ start-yarn.sh

然後檢視各節點資訊

2.配置yarn的HA高可用

高可用就是好幾臺機器，一臺突然掛掉了，其他機器就補上去，剛剛只啟動了nn1作為yarn伺服器，只有一臺，所以這裡要在nn2也開一臺，來做簡單的高可用

###############在nn2控制檯操作####################
[hadoop@nn2 ~]$ yarn-daemon.sh start resourcemanager

如圖檢視jps

這裡相比第一張圖，在nn2多了一個resourceManager

##########檢視狀態############
[hadoop@nn1 hadoop_base_op]$ yarn rmadmin -getServiceState rm1
active
[hadoop@nn1 hadoop_base_op]$ yarn rmadmin -getServiceState rm2
standby 
 
 
              
           
              
              
            
            相關推薦
			   
            
            
            
 

    

    
    Hadoop叢集搭建-05安裝配置YARN
      
                                        
                                                Hadoop叢集搭建-04安裝配置HDFS  
Hadoop叢集搭建-03編譯安裝hadoop 
Hadoop叢集搭建- 

  
 

    

    
    Hadoop叢集搭建-04安裝配置HDFS
      
                                        
                                                Hadoop叢集搭建-03編譯安裝hadoop 
Hadoop叢集搭建-02安裝配置Zookeeper 
Hadoop叢集搭建-0 

  
 

    

    
    Hadoop叢集搭建-02安裝配置Zookeeper
      
                                        
                                                  
Hadoop叢集搭建-05安裝配置YARN 
Hadoop叢集搭建-04安裝配置HDFS  
Hadoo 

  
 

    

    
    Hadoop叢集搭建通過指令碼配置hosts檔案
      
                此指令碼需要expect命令，使用前確認一下機器收否有安裝：which expect

思路：1.編寫好要追加到hosts檔案內容的檔案（IP_hosts_test）

           2.編寫指令碼檔案testRead.sh（巢狀expect，實現自動登入），讀取上面 

  
 

    

    
    ssh無密登入配置詳解（hadoop叢集搭建）
       
  
  
 ssh無密登入原理 
  注：私鑰和公鑰是每個使用者獨有的，而不是機器或者伺服器的，比如一臺電腦或者伺服器或者虛擬機器，可以同時存在多個使用者，但不同使用者需要遠端登入其他伺服器或者虛擬機器時，都必須配置各自的私鑰和公鑰，而且使用者之間的各不相同 
 常用命令 
 ssh ip(遠端登入也可 

  
 

    

    
    本地搭建hadoop叢集--kylin的安裝（叢集部署）
       
 
 
 kylin官方安裝文件 
 http://kylin.apache.org/cn/docs/install/configuration.html 
 總結： 
 1、關於麒麟高可用涉及負載均衡官網都說超出範圍了，安裝只考慮安裝的事情，其餘的先忽略 
 2、kylin在啟動的時候會自動檢測你本地h 

  
 

    

    
    本地搭建hadoop叢集--sqoop的安裝.1.4.7 使用db2
       
 
 
 安裝 
 1、解壓tar包 
 2、進入conf目錄 
 3、修改配置檔案 
 cp -a sqoop-env-template.sh sqoop-env.sh 
 vm sqoop-env.sh 
   
 export HADOOP_COMMON_HOME=/opt/mo 

  
 

    

    
    Redis叢集安裝--叢集搭建及密碼配置遇到的一些問題
      
							
							
							網上關於Redis叢集安裝配置的文章很多,也比較全面，但每個人的需求不一樣，本文搭建一個配置密碼的Redis叢集過程其中遇到的一些問題

其中我見到的以這篇文章最詳細https://www.cnblogs.com/hello-daocaoren/p/843190 

  
 

    

    
    Liunx系統Hadoop叢集搭建配置
      
							
							
							下面是hadoop安裝流程

進入下載頁面  http://archive.apache.org/dist/ 找到hadoop點選進入

2.在這個頁面點選common進去後可以看見各種版本的hadoop
3.在這裡我選擇安裝2.7.3版本的
4.點選進入下載t 

  
 

    

    
    HDFS環境搭建（單節點配置） hadoop叢集搭建（hdfs）
      【參考文章】：hadoop叢集搭建（hdfs） 
1. Hadoop下載 
　　官網下載地址： 
　　https://hadoop.apache.org/releases.html，進入官網根據自己需要下載具體的安裝包 
　　清華大學安裝包的映象檔案下載地址： 
　　https://mirrors.tuna. 

  
 

    

    
    hadoop叢集搭建(一)：系統安裝（centos7+vmware12）
      
								
								            
							
							
							叢集作業系統安裝（centos7+vmware12）








環境說明


作業系統 
CentOS-7-x86_64-DVD-1611下載地址：官網
虛擬機器 
VMware Workstat 

  
 

    

    
    Hadoop叢集搭建(HDFS和Yarn叢集)
      
							
							
							hadoop叢集搭建(HDFS和Yarn叢集)



1.安裝hadoop2.7.4

上傳hadoop的安裝包到伺服器
 hadoop-2.7.4-with-centos-6.7.tar.gz
 解壓安裝包
 tar zxvf hadoop-2.7.4-wit 

  
 

    

    
    hadoop叢集搭建HDFS、HA、 YARN
      
							
							
							hadoop2.0已經發布了很多穩定版本，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.7.2又增加了YARN HA

1、環境準備

修改主機名、IP地址。這些在之前部落格有提過就不再寫了。 
配置IP地址和主機名對映關係。 
sud 

  
 

    

    
    Hadoop叢集搭建——環境配置
      
							
							
							一、叢集搭建注意問題說明

1、此處叢集環境搭建我使用了三臺主機進行模擬，分別為：



hadoop-series.bxp.com
hadoop-series1.bxp.com
hadoop-series2.bxp.com

2、叢集搭建前需要注意的問題：

 

  
 

    

    
    Hadoop叢集搭建-03編譯安裝hadoop
      
                                        
                                                  
Hadoop叢集搭建-05安裝配置YARN 
Hadoop叢集搭建-04安裝配置HDFS  
Hadoo 

  
 

    

    
    Hadoop----叢集搭建指南（下卷）
       
 
  
  
 前言 
  
 什麼是Hadoop? 
  
  Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framewor 

  
 

    

    
    Hadoop----叢集搭建指南（中卷）
       
 
  
  
 前言 
  
 本文的搭建基於上卷的配置，環境不再一一贅述。網路配置好的5臺節點均可相互ping通，對於節點hadoop1(192.168.20.2)可以ping同其餘四臺hadoop2(192.168.20.3)、hadoop3(192.168.20.4)、hadoop4(192.16 

  
 

    

    
    Hadoop----叢集搭建指南（上卷）
       
 
  
  
 前言 
  
 閱讀本文，需要具備Linux、計算機網路的基礎知識。所以在文中出現的相關基礎知識，均以連結的形式給出，務必理解該連結的內容後，繼續閱讀本指南。 
 叢集搭建的環境多種多樣，本文采用VitualBox安裝5臺虛擬機器構建叢集。具體環境： 
  
  CentOS 6.5 6 

  
 

    

    
    CentOS7下靜態ip地址分配（Hadoop叢集搭建）
       
  
  
 作業系統是CentOS 
 在搭建Hadoop過程中，發現每一次啟動虛擬機器，ip地址就會變化。 這是由於一開始安裝CentOS的時候，有一個自動連線乙太網，他會自動給你分配ip地址，但是我們往往需要的是另一個。 首先看我的主機對映， 
  
 可以看到131，132,133 對應是，主機， 

  
 

    

    
    hadoop學習資料-03-安裝配置續02
       
 
 執行：vim hdfs-site.xml 
  
 <configuration>  <property>    <name>dfs.replication</name>    <value>