最近又安裝 hadoop 叢集， 故嘗試了一下配置 HDFS 的 HA，CDH4支援Quorum-based Storage和shared storage using NFS兩種HA方案，而CDH5只支援第一種方案，即 QJM 的 HA 方案。

叢集規劃

我一共安裝了三個節點的叢集，對於 HA 方案來說，三個節點準備安裝如下服務：

• cdh1：hadoop-hdfs-namenode(primary) 、hadoop-hdfs-journalnode、hadoop-hdfs-zkfc
• cdh2：hadoop-hdfs-namenode(standby)、hadoop-hdfs-journalnode、hadoop-hdfs-zkfc
• cdh3: hadoop-hdfs-journalnode

根據上面規劃，在對應節點上安裝相應的服務。

安裝步驟

停掉叢集

停掉叢集上所有服務。

$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep spark` ; do service $x stop ; done'
​$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep impala` ; do service $x stop ; done'
$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep hive` ; do service $x stop ; done'
 

$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep hbase` ; do service $x stop ; done'
$ sh /opt/cmd.sh ' for x in `ls /etc/init.d/|grep hadoop` ; do service $x stop ; done'

cmd.sh程式碼內容見Hadoop叢集部署許可權總結一文中的/opt/shell/cmd.sh。

停止客戶端程式

停止服務叢集的所有客戶端程式，包括定時任務。

備份 hdfs 元資料

a，查詢本地配置的檔案目錄（屬性名為 dfs.name.dir 或者 dfs.namenode.name.dir或者hadoop.tmp.dir ）

grep -C1 hadoop.tmp.dir /etc/hadoop/conf/hdfs-site.xml

#或者
grep -C1 dfs.namenode.name.dir /etc/hadoop/conf/hdfs-site.xml

通過上面的命令，可以看到類似以下資訊：

<property>
<name>hadoop.tmp.dir</name>
<value>/data/dfs/nn</value>
</property>

b，對hdfs資料進行備份

cd /data/dfs/nn
tar -cvf /root/nn_backup_data.tar .

安裝服務

在 cdh1、cdh2、cdh3 上安裝 hadoop-hdfs-journalnode

$ ssh cdh1 'yum install hadoop-hdfs-journalnode -y '
$ ssh cdh2 'yum install hadoop-hdfs-journalnode -y '
$ ssh cdh3 'yum install hadoop-hdfs-journalnode -y '

在 cdh1、cdh2 上安裝 hadoop-hdfs-zkfc：

ssh cdh1 "yum install hadoop-hdfs-zkfc -y "
ssh cdh2 "yum install hadoop-hdfs-zkfc -y "

修改配置檔案

修改/etc/hadoop/conf/core-site.xml，做如下修改：

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://mycluster:8020</value>
</property>
<property>
	<name>ha.zookeeper.quorum</name>
	<value>cdh1:21088,cdh2:21088,cdh3:21088</value>
</property>

修改/etc/hadoop/conf/hdfs-site.xml，刪掉一些原來的 namenode 配置，增加如下：

<!--  hadoop  HA -->
<property>
	<name>dfs.nameservices</name>
	<value>mycluster</value>
</property>
<property>
	<name>dfs.ha.namenodes.mycluster</name>
	<value>nn1,nn2</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
	<value>cdh1:8020</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
	<value>cdh2:8020</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn1</name>
	<value>cdh1:50070</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn2</name>
	<value>cdh2:50070</value>
</property>
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://cdh1:8485,cdh2:8485,cdh3:8485/mycluster</value>
</property>
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/data/dfs/jn</value>
</property>
<property>
	<name>dfs.client.failover.proxy.provider.mycluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>sshfence(hdfs)</value>
</property>
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/var/lib/hadoop-hdfs/.ssh/id_rsa</value>
</property>
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>

同步配置檔案

將配置檔案同步到叢集其他節點：

$ sh /opt/syn.sh /etc/hadoop/conf /etc/hadoop/

在journalnode的三個節點上建立目錄：

$ ssh cdh1 'mkdir -p /data/dfs/jn ; chown -R hdfs:hdfs /data/dfs/jn'
$ ssh cdh2 'mkdir -p /data/dfs/jn ; chown -R hdfs:hdfs /data/dfs/jn'
$ ssh cdh3 'mkdir -p /data/dfs/jn ; chown -R hdfs:hdfs /data/dfs/jn'

配置無密碼登陸

在兩個NN上配置hdfs使用者間無密碼登陸：

對於 cdh1：

$ passwd hdfs
$ su - hdfs
$ ssh-keygen
$ ssh-copy-id  cdh2

對於 cdh2：

$ passwd hdfs
$ su - hdfs
$ ssh-keygen
$ ssh-copy-id   cdh1

啟動journalnode

啟動cdh1、cdh2、cdh3上的 hadoop-hdfs-journalnode 服務

$ ssh cdh1 'service hadoop-hdfs-journalnode start'
$ ssh cdh2 'service hadoop-hdfs-journalnode start'
$ ssh cdh3 'service hadoop-hdfs-journalnode start'

初始化共享儲存

在namenode上初始化共享儲存，如果沒有格式化，則先格式化：

hdfs namenode -initializeSharedEdits

啟動NameNode：

$ service hadoop-hdfs-namenode start

同步 Standby NameNode

cdh2作為 Standby NameNode，在該節點上先安裝namenode服務

$ yum install hadoop-hdfs-namenode -y

再執行：

$ sudo -u hdfs hadoop namenode -bootstrapStandby

如果是使用了kerberos，則先獲取hdfs的ticket再執行：

$ kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/[email protected]
$ hadoop namenode -bootstrapStandby

然後，啟動 Standby NameNode：

$ service hadoop-hdfs-namenode start

配置自動切換

在兩個NameNode上，即cdh1和cdh2，安裝hadoop-hdfs-zkfc

$ ssh cdh1 'yum install hadoop-hdfs-zkfc -y'
$ ssh cdh2 'yum install hadoop-hdfs-zkfc -y'

在任意一個NameNode上下面命令，其會建立一個znode用於自動故障轉移。

$ hdfs zkfc -formatZK

如果你想對zookeeper的訪問進行加密，則請參考 Enabling HDFS HA 中 Securing access to ZooKeeper 這一節內容。

然後再兩個 NameNode 節點上啟動zkfc：

$ ssh cdh1 "service hadoop-hdfs-zkfc start"
$ ssh cdh2 "service hadoop-hdfs-zkfc start"

測試

分別訪問 http://cdh1:50070/ 和 http://cdh2:50070/ 檢視誰是 active namenode，誰是 standyby namenode。

檢視某Namenode的狀態：

#檢視cdh1狀態
$ sudo -u hdfs hdfs haadmin -getServiceState nn1
active

#檢視cdh2狀態
$ sudo -u hdfs hdfs haadmin -getServiceState nn2
standby

執行手動切換：

$ sudo -u hdfs hdfs haadmin -failover nn1 nn2
Failover to NameNode at cdh2/192.168.56.122:8020 successful

再次訪問 http://cdh1:50070/ 和 http://cdh2:50070/ 檢視誰是 active namenode，誰是 standyby namenode。

配置HBase HA

先停掉 hbase，然後修改/etc/hbase/conf/hbase-site.xml，做如下修改：

<!-- Configure HBase to use the HA NameNode nameservice -->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://mycluster:8020/hbase</value>       
  </property>

在 zookeeper 節點上執行/usr/lib/zookeeper/bin/zkCli.sh

$ ls /hbase/splitlogs
$ rmr /hbase/splitlogs

最後啟動 hbase 服務。

配置 Hive HA

執行下面命令將hive的metastore的root地址的HDFS nameservice。

$ /usr/lib/hive/bin/metatool -listFSRoot 
Initializing HiveMetaTool..
Listing FS Roots..
hdfs://cdh1:8020/user/hive/warehouse  

$ /usr/lib/hive/bin/metatool -updateLocation hdfs://mycluster hdfs://cdh1 -tablePropKey avro.schema.url 
-serdePropKey schema.url  

$ metatool -listFSRoot 
Listing FS Roots..
Initializing HiveMetaTool..
hdfs://mycluster:8020/user/hive/warehouse

配置 Impala

不需要做什麼修改，但是一定要記住 core-site.xml 中 fs.defaultFS 引數值要帶上埠號，在CDH中為 8020。

配置 YARN

配置 Hue

配置 Llama