【持續更新】解決一些使用HA叢集遇到的問題，包括搭建、使用、開發等
1. 在格式化HDFS時報錯：

17/11/25 16:44:25 WARN namenode.NameNode: Encountered exception during format: 
org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. 1 exceptions thrown:
192.168.159.132:8485: No Route to Host from  master1/192.168
 
.159.129 to slave2:8485 failed on socket timeout exception: java.net.NoRouteToHostException: 沒有到主機的路由; For more details see:  http://wiki.apache.org/hadoop/NoRouteToHost
    at org.apache.hadoop.hdfs.qjournal.client.QuorumException.create(QuorumException.java:81)
    at org.apache.hadoop.hdfs.qjournal.client
 
.QuorumCall.rethrowException(QuorumCall.java:247)
    at org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager.hasSomeData(QuorumJournalManager.java:232)
    at org.apache.hadoop.hdfs.server.common.Storage.confirmFormat(Storage.java:901)
    at org.apache.hadoop.hdfs.server.namenode.FSImage.confirmFormat
 
(FSImage.java:194)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:995)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1441)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1566)
17/11/25 16:44:25 ERROR namenode.NameNode: Failed to start namenode.
org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. 1 exceptions thrown:
192.168.159.132:8485: No Route to Host from  master1/192.168.159.129 to slave2:8485 failed on socket timeout exception: java.net.NoRouteToHostException: 沒有到主機的路由; For more details see:  http://wiki.apache.org/hadoop/NoRouteToHost
    at org.apache.hadoop.hdfs.qjournal.client.QuorumException.create(QuorumException.java:81)
    at org.apache.hadoop.hdfs.qjournal.client.QuorumCall.rethrowException(QuorumCall.java:247)
    at org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager.hasSomeData(QuorumJournalManager.java:232)
    at org.apache.hadoop.hdfs.server.common.Storage.confirmFormat(Storage.java:901)
    at org.apache.hadoop.hdfs.server.namenode.FSImage.confirmFormat(FSImage.java:194)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:995)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1441)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1566)

這個錯誤是因為在啟動master2、slave1、slave2時沒有關閉防火牆，執行以下命令（環境均為Centos7）：

systemctl stop firewalld.service

關閉上述三臺機器的防火牆，再執行格式化HDFS即可。
2. 在格式化ZKFC時出錯，即啟動zk，能夠單點啟動，但是始終三臺機器無法連線上，檢視zk狀態顯示：

[[email protected] bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

檢視zookeeper.out
最終修改 data資料夾下的myid檔案，根據zoo.cfg檔案設定的service順序，依次填寫，即master2的myid為1，slave1的myid為2，slave2的myid為3（切記，以後克隆虛擬機器要記得修改zk）
3. 啟動hdfs時報錯，主要是因為ssh連線問題，具體解決方案參考克隆虛擬機器的重置ssh步驟。
4. 啟動hdfs後，只有master1上啟動了namenode，在master2上並未啟動namenode，需要進行如下操作：

• 將master1已經格式化好的namenode資訊複製給master2

scp -r tmp/ root@master2:/usr/local/hadoop/

• 在master2上執行

hdfs namenode -bootstrapStandby

• 重啟hdfs

stop-dfs.sh
start-dfs.sh

解決問題。
5. hdfs啟動後，未連線上datanode，需要為每個datanode填寫不同的資料儲存路徑（dfs.datanode.data.dir）
slave1:

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/hdfs/data1</value>
</property>

slave2:

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/hdfs/data2</value>
</property>

解決問題。
6. 出現某個namenode節點無法啟動的問題，具體報以下錯誤：

2018-01-17 17:38:49,548 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: NameNode is not formatted.
......
2018-01-17 17:38:49,590 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.io.IOException: NameNode is not formatted.

原因是在啟動HA時未格式化備用namenode，其實叢集是已經啟動的，但是由於某些原因重啟，導致備用namenode無法啟動，報錯後在master1上執行格式化HDFS再啟動無效，需要將可以啟動的namenode（master1）中的元資料拷貝到不可啟動的namenode（master2）的data資料夾下。
這是在stackoverflow中找到的解釋：

```
If you have already formatted the NameNode, or are converting a non-HA-enabled cluster to be HA-enabled, you should now copy over the contents of your NameNode metadata directories to the other, unformatted NameNode by running the command “hdfs namenode -bootstrapStandby” on the unformatted NameNode. Running this command will also ensure that the JournalNodes (as configured by dfs.namenode.shared.edits.dir) contain sufficient edits transactions to be able to start both NameNodes.
```

具體解決方式：

scp -r hdfs/ master2:/usr/local/hadoop/

覆蓋master2的data檔案即可。
7. 在重啟集群后，出現6的問題，所以就再次格式化了HDFS，不過這樣也導致datanode的 clusterID與格式化後namanode的clusterID不一致，所以需要刪除datanode節點data目錄下的current檔案，不過這樣會導致HDFS檔案丟失，所以切記不能輕易格式化namenode。