Zookeeper + Hadoop2.6 叢集HA + spark1.6完整搭建與所有引數解析

阿新 • • 發佈：2019-01-06

安裝環境變數:

使用linx下的解壓軟體,解壓找到裡面的install 或者 ls 執行這個進行安裝

yum install gcc

yum install gcc-c++

安裝make，這個是自動編譯原始碼的工具

yum install make

yum install autoconfautomake libtool cmake

封裝了底層的終端功能

yum install ncurses-devel

OpenSSL是一個軟體包，用於支援SSL傳輸協議的軟體包

yum install openssl-devel

git就不用多說了

yum install git git-svn git-email git-gui gitk

安裝protoc(需用root使用者), 作用是把某種資料結構的資訊，以某種格式儲存起來。主要用於資料儲存、傳輸協議格式等

1 tar -xvf protobuf-2.5.0.tar.bz2

2 cd protobuf-2.5.0

3 ./configure --prefix=/opt/protoc/

4 make && make install

安裝wget (以後備用~)

sudo yum -y install wget

二、增加使用者組

groupadd hadoop 新增一個組

useradd hadoop -g hadoop 新增使用者

三、編譯hadoop

mvn clean package -Pdist,native -DskipTests -Dtar

編譯完的hadoop在 /home/hadoop/ocdc/hadoop-2.6.0-src/hadoop-dist/target 路徑下

四、各節點配置hosts檔案 vi/etc/hosts

10.1.245.244 master

10.1.245.243 slave1

10.1.245.242 slave2

命令列輸入 hostname master

ssh到其他主機相應輸入 hostName xxxx

五、各節點免密碼登入：

各節點免密碼登入

ssh-keygen -t rsa

cd /root/.ssh/

ssh-copy-id master

將生成的公鑰id_rsa.pub 內容追加到authorized_keys（執行命令：cat id_rsa.pub >> authorized_keys）

時間等效性同步

ssh master date; ssh slave1 date;ssh slave2 date;

六、hadoop路徑下建立相應目錄（namenode,datenode 等資訊存放處）

Mkdir data

(在data路徑下建立目錄)

mkdir yarn

mkdir jn

mkdir current

(hadoop路徑下)

mkdir name

(jn目錄下)

mkdir streamcluster

七、Zookeeper叢集配置:

解壓zookeeper

Tar zxvf zookeeper-3.4.6.tar.gz

修改temp檔案為可用

Cp zoo_sample.cfg zoo.cfg

修改zoo.cfg檔案:

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/home/hadoop/ocdc/zookeeper-3.4.6/data

dataLogDir=/home/hadoop/ocdc/zookeeper-3.4.6/logs

# the port at which the clients will connect

clientPort=2183

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

#寫入節點ip與埠

server.1=master:2898:3898

server.2=slave1:2898:3898

server.3=slave2:2898:3898

在zookeeper目錄下:

mkdir data

vi myid （寫入id為1,）

拷貝zookeeper到各個目錄下（將slave1中的myid改為2，slave2中的myid改為3....）

隨後在 bin目錄下逐個啟動zookeeper

./zkServer.sh start

./zkServer.sh status (檢視狀態)

八、hadoop相關配置檔案及引數說明

core-site.xml

預設檔案系統的名稱,如果是HA模式，不加埠

<name>fs.defaultFS</name>

<value>hdfs:// streamcluster </value>

</property>

io.file.buffer.size都被用來設定快取的大小,較大的快取可以提供高效的資料傳輸，但太大也會造成更大的記憶體消耗和延遲

<name>io.file.buffer.size</name>

</property>

hadoop檔案系統依賴的基本配置，很多配置路徑都依賴它，它的預設位置在/tmp/{$user}下面

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/ocdc/hadoop-2.6.0/tmp</value>

<description>Abasefor other temporary directories.</description>

</property>

<name>hadoop.proxyuser.spark.hosts</name>

</property>

<name>hadoop.proxyuser.spark.groups</name>

</property>

</configuration>

hdfs-site.xml

叢集的邏輯名，要注意的是，如果為HA模式，需要與core-site.xml中的fs.defaultFS名一致

<name>dfs.nameservices</name>

<value>streamcluster</value>

</property>

datanode的埠，執行tcp/ip伺服器以支援塊傳輸，預設為0.0.0.0:50010

<name>dfs.datanode.address</name>

</property>

datanode的http伺服器地址和埠

<name>dfs.datanode.http.address</name>

</property>

datanode的rpc伺服器的地址和埠, 提供程序間互動通訊

<name>dfs.datanode.ipc.address</name>

</property>

dfs.ha.namenodes.[nameservice ID]在名稱服務中每一個nameNode的唯一識別符號,streamcluster為之前配置的nameservice的名稱,這裡配置高可用，所以配置兩個NN

<name>dfs.ha.namenodes.streamcluster</name>

</property>

由namenode儲存元資料的目錄地址

<name>dfs.namenode.name.dir</name>

<value>/home/hadoop/ocdc/hadoop-2.6.0/name</value>

</property>

由datanode存放資料塊的目錄列表

<name>dfs.datanode.data.dir</name>

<value>/home/hadoop/ocdc/hadoop-2.6.0/data</value>

</property>

由寫操作所需要建立的最小副本數目

<name>dfs.replication</name>

</property>

如果是 true，則開啟許可權系統

<name>dfs.permission</name>

</property>

設定成true, 通過知道每個block所在磁碟，可以在排程cpu資源時讓不同的cpu讀不同的磁碟，避免查詢內和查詢間的IO競爭

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

</property>

是否在HDFS中開啟許可權檢查。

<name>dfs.permissions.enabled</name>

<value>false</value>

</property>

HA模式下該引數為streamcluster中namenode1節點對外服務的RPC地址

<name>dfs.namenode.rpc-address.streamcluster.nn1</name>

<value>master:8033</value>

</property>

HA模式下該引數為streamcluster中namenode1節點對外服務的RPC地址

<name>dfs.namenode.rpc-address.streamcluster.nn2</name>

<value>slave1:8033</value>

</property>

HA模式下該引數為streamcluster中namenode1節點對外服務的HTTP地址

<name>dfs.namenode.http-address.streamcluster.nn1</name>

<value>master:50083</value>

</property>

HA模式下該引數為streamcluster中namenode1節點對外服務的HTTP地址

<name>dfs.namenode.http-address.streamcluster.nn2</name>

<value>slave1:50083</value>

</property>

設定的為journalNode的地址，Activity狀態中的Namenode會將edits的Log寫入JournalNode，而standby狀態中的Namenode會讀取這些edits log.

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://master:8489;slave1:8489;slave2:8489/streamcluster</value>

</property>

JournalNode 所在節點上的一個目錄，用於存放 editlog 和其他狀態資訊。

<name>dfs.journalnode.edits.dir</name>

<value>/home/hadoop/ocdc/hadoop-2.6.0/data/jn</value>

</property>

journalNode RPC服務地址和埠

<name>dfs.journalnode.rpc-address</name>

</property>

journalNode HTTP服務地址和埠

<name>dfs.journalnode.http-address</name>

</property>

此引數為客戶端與activity狀態下的Namenode進行互動的java實現類，DFS客戶端通過該類尋找當前activity的Namenode

<name>dfs.client.failover.proxy.provider.streamcluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

使HA模式下不會同時出現兩個master，不允許出現兩個activity狀態下的Namenode

<name>dfs.ha.fencing.methods</name>

<value>shell(/bin/true)</value>

</property>

SSH的超時時間設定,倘若超過此時間，則認為執行失敗.

<name>dfs.ha.fencing.ssh.connect-timeout</name>

</property>

指定streamcluster的兩個NameNode共享edits檔案目錄時，使用的JournalNode叢集資訊

<name>dfs.ha.automatic-failover.enabled</name>

</property>

每個datanode任一時刻可以開啟的檔案數量上限。

<name>dfs.datanode.max.xcievers</name>

</property>

DataNode傳送資料出入的最大執行緒數,等同於dfs.datanode.max.xcievers。

<name>dfs.datanode.max.transfer.threads</name>

</property>

塊的位元組大小

<name>dfs.blocksize</name>

</property>

一般原則是將其設定為叢集大小的自然對數乘以20，即20logN, NameNode有一個工作執行緒池用來處理客戶端的遠端過程呼叫及叢集守護程序的呼叫。處理程式數量越多意味著要更大的池來處理來自不同DataNode的併發心跳以及客戶端併發的元資料操作。

<name>dfs.namenode.handler.count</name>

</property>

<name>ha.zookeeper.quorum</name>

<value>master:2183,slave1:2183,slave2:2183</value>

</property>

</configuration>

yarn-site.xml

NodeManager的心跳間隔

<name>yarn.resourcemanager.connect.retry-interval.ms</name>

</property>

是否啟用RM HA，預設為false（不啟用）。這裡設定為啟用。

<name>yarn.resourcemanager.ha.enabled</name>

</property>

是否啟用自動故障轉移。預設情況下，在啟用HA時，啟用自動故障轉移。

<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>

</property>

啟用內建的自動故障轉移。預設情況下，在啟用HA時，啟用內建的自動故障轉移。

<name>yarn.resourcemanager.ha.automatic-failover.embedded</name>

</property>

叢集的ID，確保ResourceManager不會為成為其他叢集的Activity活躍狀態。

<name>yarn.resourcemanager.cluster-id</name>

<value>yarn-rm-cluster</value>

</property>

HA下兩個ResourceManager的邏輯名稱

<name>yarn.resourcemanager.ha.rm-ids</name>

</property>

用於標識ResourceManager,這裡要注意一點，HA備用的RM的伺服器需要修改為rm2

<name>yarn.resourcemanager.ha.id</name>

</property>

啟用重啟ResourceManager的功能，預設為false

<name>yarn.resourcemanager.recovery.enabled</name>

</property>

用於狀態儲存的類,可以設定為

org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore，基於Hadoop檔案系統的實現，這裡的設定是基於ZooKeeper的實現

<name>yarn.resourcemanager.store.class</name>

<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

</property>

儲存RM狀態的ZooKeeper Znode全路徑。

<name>yarn.resourcemanager.zk.state-store.address</name>

<value>master:2183,slave1:2183,slave2:2183</value>

</property>

被RM用於狀態儲存的ZooKeeper伺服器的主機:埠號

<name>yarn.resourcemanager.zk-address</name>

<value>master:2183,slave1:2183,slave2:2183</value>

</property>

Scheduler失聯等待的時間

<name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>

</property>

ResourceManager1的地址和埠

<name>yarn.resourcemanager.address.rm1</name>

<value>master:23140</value>

</property>

ResourceManager1排程器地址：埠

<name>yarn.resourcemanager.scheduler.address.rm1</name>

<value>master:23130</value>

</property>

ResourceManager 1對外web ui地址。可通過該地址在瀏覽器中檢視叢集各類資訊。

<name>yarn.resourcemanager.webapp.address.rm1</name>

<value>master:23188</value>

</property>

NodeManager通過該地址向ResourceManager1彙報心跳，領取任務等的地址。

<name>yarn.resourcemanager.resource-tracker.address.rm1</name>

<value>master:23125</value>

</property>

ResourceManager 1對管理員暴露的訪問地址。管理員通過該地址向RM傳送管理命令等。

<name>yarn.resourcemanager.admin.address.rm1</name>

<value>master:23141</value>

</property>

<name>yarn.resourcemanager.ha.admin.address.rm1</name>

<value>master:23142</value>

</property>