Hadoop 2.x HDFS使用和配置步驟
阿新 • • 發佈:2019-02-15
hdfs-site.xml配置:
1.配置dfs.nameservices:配置叢集唯一名稱,相當於是ZooKeeper的地址
2.配置dfs.ha.namenodes.[nameservicesID]:配置該nameservices下的多個namenode(包括主備namenode)
3.配置dfs.namenode.rpc-address.[nameservice ID].[name node ID]:配置每個namenode的rpc協議監聽地址
4.配置dfs.namenode.http-address.[nameservice ID].[name node ID]:配置每個namenode的http監聽地址
5.配置dfs.namenode.shared.edits.dir:配置JournalNode節點地址,格式為 (qjournal://node1:8485;node2:8485;node3:8485/[nameservice ID])
6.配置dfs.client.failover.proxy.provider.[nameservice ID]:配置ZKCF,監聽每個namenode的類
7.配置dfs.ha.fencing.methods:當一個NameNode故障之後選擇備NameNode變成主NameNode的選擇策略,可以設定Java類或者指令碼列表(ssh免密碼登陸)
8.配置NameNode故障自動切換:
dfs.ha.automatic-failover.enabled:設定為true啟動自動切換
ha.zookeeper.quorum:配置ZooKeeper的節點地址
1.配置dfs.nameservices:配置叢集唯一名稱,相當於是ZooKeeper的地址
2.配置dfs.ha.namenodes.[nameservicesID]:配置該nameservices下的多個namenode(包括主備namenode)
3.配置dfs.namenode.rpc-address.[nameservice ID].[name node ID]:配置每個namenode的rpc協議監聽地址
4.配置dfs.namenode.http-address.[nameservice ID].[name node ID]:配置每個namenode的http監聽地址
5.配置dfs.namenode.shared.edits.dir:配置JournalNode節點地址,格式為 (qjournal://node1:8485;node2:8485;node3:8485/[nameservice ID])
6.配置dfs.client.failover.proxy.provider.[nameservice ID]:配置ZKCF,監聽每個namenode的類
7.配置dfs.ha.fencing.methods:當一個NameNode故障之後選擇備NameNode變成主NameNode的選擇策略,可以設定Java類或者指令碼列表(ssh免密碼登陸)
8.配置NameNode故障自動切換:
dfs.ha.automatic-failover.enabled:設定為true啟動自動切換
ha.zookeeper.quorum:配置ZooKeeper的節點地址