在這裡我選用4臺機器進行示範，各臺機器的職責如下表格所示

（說明： 1. ZooKeepe使用其它節點的 2. Hadoop0節點安裝所有的master, ha的matster全部是worker, 以達到較高的資源利用率，又對master的負載不會過高）

Hadoop0 -> dchadoop206

Hadoop1 -> dchadoop207

Hadoop2 -> dchadoop208

Hadoop3 -> dchadoop209

1.搭建自動HA

1.1.複製編譯後的hadoop專案到/usr/local目錄下

1.2.修改位於etc/hadoop目錄下的配置檔案

1.1.1.hadoop-env.sh

exportJAVA_HOME=/usr/local/jdk

1.1.1.core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
</property>

【這裡的值指的是預設的HDFS路徑。當有多個HDFS叢集同時工作時，使用者如果不寫叢集名稱，那麼預設使用哪個哪？在這裡指定！該值來自於hdfs-site.xml中的配置。在節點hadoop0和hadoop1中使用cluster1，在節點hadoop2和hadoop3中使用cluster2】

<property>
<name>hadoop.tmp.dir</name>
<value>/data0/hadoop/tmp</value>
</property>

【這裡的路徑預設是NameNode、DataNode、JournalNode等存放資料的公共目錄。使用者也可以自己單獨指定這三類節點的目錄。】

<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop0:2181,hadoop1:2181,hadoop2:2181</value>
</property>

【這裡是ZooKeeper叢集的地址和埠。注意，數量一定是奇數，且不少於三個節點】

</configuration>

1.1.1.hdfs-site.xml

該檔案只配置在hadoop0和hadoop1上。

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

【指定DataNode儲存block的副本數量。預設值是3個，我們現在有4個DataNode，該值不大於4即可。】

<property>
<name>dfs.namenode.name.dir</name>
<value>file:///data0/hadoop2/hdfs/name</value>
</property>

【指定namenode元資料資訊儲存位置】

<property>
<name>dfs.datanode.data.dir</name><value>file:///data0/hadoop2/hdfs/data,file:///data1/hadoop2/hdfs/data,file:///data2/hadoop2/hdfs/data,file:///data3/hadoop2/hdfs/data,file:///data4/hadoop2/hdfs/data,file:///data5/hadoop2/hdfs/data,file:///data6/hadoop2/hdfs/data,file:///data7/hadoop2/hdfs/data,file:///data8/hadoop2/hdfs/data,file:///data9/hadoop2/hdfs/data,file:///data10/hadoop2/hdfs/data</value>
</property>

【指定datanode元資料資訊儲存位置,設定成所有的磁碟】

<property>
<name>dfs.nameservices</name>
<value>cluster1</value>
</property>

【設定cluster1的namenode id。】

<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>hadoop0,hadoop1</value>
</property>

【指定NameService是cluster1時的namenode有哪些，這裡的值也是邏輯名稱，名字隨便起，相互不重複即可】

<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop0</name>
<value>hadoop0:9000</value>
</property>

【指定hadoop0的RPC地址】

<property>
<name>dfs.namenode.http-address.cluster1.hadoop0</name>
<value>hadoop0:50070</value>
</property>

【指定hadoop0的http地址】

<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop1</name>
<value>hadoop1:9000</value>
</property>

【指定hadoop1的RPC地址】

<property>
<name>dfs.namenode.http-address.cluster1.hadoop1</name>
<value>hadoop1:50070</value>
</property>

【指定hadoop1的http地址】

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1</value>
</property>

【指定cluster1的兩個NameNode共享edits檔案目錄時，使用的JournalNode叢集資訊】

<property>
<name>dfs.ha.automatic-failover.enabled.cluster1</name>
<value>true</value>
</property>

【指定cluster1是否啟動自動故障恢復，即當NameNode出故障時，是否自動切換到另一臺NameNode】

<property>
<name>dfs.client.failover.proxy.provider.cluster1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

【指定cluster1出故障時，哪個實現類負責執行故障切換】

<property>
<name>dfs.journalnode.edits.dir</name>
<value>/data0/hadoop2/hdfs/journal</value>
</property>

【指定JournalNode叢集在對NameNode的目錄進行共享時，自己儲存資料的磁碟路徑】

<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

【一旦需要NameNode切換，使用ssh方式進行操作】

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

【如果使用ssh進行故障切換，使用ssh通訊時用的金鑰儲存的位置】

</configuration>

1.2.4. slaves

hadoop1

hadoop2

hadoop2

1.3.把以上配置的內容複製到hadoop1、hadoop2、hadoop3節點上

1.4.修改hadoop1、hadoop2、hadoop3上的配置檔案內容

1.4.1.修改hadoop2上的core-site.xml內容

fs.defaultFS的值改為hdfs://cluster2

1.4.1.修改hadoop2上的hdfs-site.xml內容

把cluster1中關於journalnode的配置項刪除，增加如下內容

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value>
</property>

1.4.3.開始啟動

1.4.3.1.啟動journalnode

在hadoop0、hadoop1、hadoop2上執行

sbin/hadoop-daemon.shstartjournalnode

1.4.3.1.格式化ZooKeeper

在hadoop0、hadoop2上執行

bin/hdfszkfc -formatZK

zkCli.sh-->ls->/Hadoop-ha/cluster1

1.4.3.3.對hadoop0節點進行格式化和啟動

bin/hdfsnamenode-format

sbin/hadoop-daemon.shstartnamenode

1.4.3.4.對hadoop1節點進行格式化和啟動

bin/hdfsnamenode-bootstrapStandby

sbin/hadoop-daemon.shstartnamenode

1.4.3.5.在hadoop0、hadoop1上啟動zkfc

sbin/hadoop-daemon.shstartzkfc

我們的hadoop0、hadoop1有一個節點就會變為active狀態。

1.4.3.6.對於cluster2執行類似操作

1.4.4.啟動datanode

在hadoop0上執行命令

sbin/hadoop-daemons.shstartdatanode

1.5.配置Yarn

1.5.1.修改檔案mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop0:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop0:19888</value>
</property>
<property>
<name>mapreduce.task.io.sort.factor</name>
<value>20</value>
<description>Thenumberofstreamstomergeatoncewhilesorting
files.Thisdeterminesthenumberofopenfilehandles.</description>
</property>
<property>
<name>mapreduce.reduce.shuffle.parallelcopies</name>
<value>40</value>
<description>Thedefaultnumberofparalleltransfersrunbyreduce
duringthecopy(shuffle)phase.
</description>
</property>
<property>
<name>mapreduce.job.reduce.slowstart.completedmaps</name>
<value>0.80</value>
<description>Fractionofthenumberofmapsinthejobwhichshouldbe
completebeforereducesarescheduledforthejob.
</description>
</property>
<property>
<name>mapreduce.task.io.sort.mb</name>
<value>300</value>
<description>Thetotalamountofbuffermemorytousewhilesorting
files,inmegabytes.Bydefault,giveseachmergestream1MB,which
shouldminimizeseeks.</description>
</property>
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
<description>Shouldtheoutputsofthemapsbecompressedbeforebeing
sentacrossthenetwork.UsesSequenceFilecompression.
</description>
</property>


<property>
<name>mapreduce.client.submit.file.replication</name>
<value>5</value>
<description>預設10，Thereplicationlevelforsubmittedjobfiles.This
shouldbearoundthesquarerootofthenumberofnodes.
</description>
</property>

1.5.2.修改檔案yarn-site.xml

<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>

【開啟resourcemanager ha模式】

<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-ha-cluster</value>
</property>

【開啟resourcemanager ha的叢集名稱，這個名稱可以在zookeeper中檢視】

<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

【設定resourcemanager的id,可以與主機同名】

<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop0</value>
</property>

【指定rm1對應哪一臺主機】

<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop1</value>
</property>

【指定rm1對應哪一臺主機】

<property>
<name>yarn.resourcemanager.zk-address</name>
<value>zk1:2181,zk2:2181,zk3:2181</value>
</property>



<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!---用什麼方式進行資料傳遞->

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

【設定日誌合併】

<property>
<name>yarn.application.classpath</name>
<value>
/usr/local/hadoop-2.5.0-cdh5.3.8/etc/hadoop,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/common/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/common/lib/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/hdfs/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/hdfs/lib/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/yarn/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/yarn/lib/*,
/usr/local/hbase-0.98.6-cdh5.3.8/lib/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/lib_dc/*,
/usr/local/hbase-0.98.6-cdh5.3.8/conf/
</value>
</property>

【設定classpath,沒有新增外部jar的話，不需要配這個】

<!--設定排程器型別為CapacityScheduler，預設是公平排程器-->
<property>
<name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

<!--設定nodemanager節點記憶體大小，CPU個數-->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>28672</value>
</property>

【設定nodemanager節點記憶體大小 28G】

<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>14</value>
</property>

【設定nodemanager節點記憶體大小 14個core】

<property>
<name>yarn.timeline-service.enabled</name>
<value>true</value>
</property>

【開啟timeline服務】

1.5.3 修改環境變數（可以不改，使用預設配置）

1.5.3.1修改 yarn-env.sh

YARN_LOG_DIR=/data0/hadoop2/logs

【修改yarn的日誌目錄，預設在$HADOOP_HOME/logs下】

1.5.3.2 修改hadoop-env.sh

exportJAVA_HOME=/usr/java/jdk1.7.0_25

【修改jdk】

exportHADOOP_LOG_DIR=/data0/hadoop2/logs

【修改hadoop的日誌目錄，預設在$HADOOP_HOME/logs下】

exportHADOOP_PID_DIR=/data0/hadoop2/pid

【修改hadoop pid目錄】

1.5.5修改capacity-scheduler.xml這個檔案（可選 ，設定排程器為CapacityScheduler時，可以通過這個配置檔案修改作業佇列）

<configuration>
<!--comparememroyonly-->
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
</property>

<!--morechanceforappmasterthatwilllaunchMRjobs-->
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.9</value>
</property>

【appMaster可以使用叢集多少資源】

<!--開啟非同步排程-->
<property>
<name>yarn.scheduler.capacity.schedule-asynchronously.enable</name>
<value>true</value>
</property>

<!--定義佇列名稱queues,dev-->
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>default,dev</value>
</property>


<property>
<name>yarn.scheduler.capacity.root.dev.capacity</name>
<value>50</value>
</property>

【設定佇列dev的能力大小佔叢集的50%】

<property>
<name>yarn.scheduler.capacity.root.default.capacity</name>
<value>50</value>
</property>

【設定佇列default的能力大小佔叢集的50%】

</configuration>

1.5.4 啟動yarn

在hadoop0上執行

sbin/start-yarn.sh

轉載於:https://blog.51cto.com/zouqingyun/1754041