hadoop叢集的安裝一準備工作

阿新 • • 發佈：2019-01-30

Hadoop叢集的安裝

1 安裝jdk並配置環境變數
2 除錯網路、ssh安裝和為hadoop建立安裝使用者並免密
3 下載hadoop並解壓
4 修改配置檔案(並修改環境變數)
5 克隆hadoop節點
6 初始化hdfs namenode
7 啟動hadoop(yarn,hdfs)

a) 安裝Java

b) 建立unix使用者賬號及網路環境配置

c) 安裝hadoop

d) SSH配置

e) 配置hadoop

f) 格式化HDFS檔案系統

g) 啟動和停止守護程序

2 CenterOS安裝Hadoop

以root身份在centerOS安裝jdk

mkdir /usr/java

cd /usr/java

將下載的 jdk-8-linux-x64.tar.gz拷貝到/usr/java目錄下並解壓縮

tar -zxvf jdk-8-linux-x64.tar.gz

vi /etc/profile
追加內容
JAVA_HOME=/usr/java/jdk1.8.0_144
JRE_HOME=/usr/java/jdk1.8.0_144/jre
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

執行source命令是環境配置檔案修改生效：

source /etc/profile

測試jdk是否安裝成功：命令

java -version

2.2 建立Unix賬號

A 我們為hadoop建立特定的賬號，專門管理hadoop

以root身份，執行建立賬號命令：

# useradd hadoop

注意：使用者賬號名稱隨意，不一定必須是hadoop，命令成功後，會生成hadoop賬號名，及組名hadoop；

接著，修改賬號登入密碼：

#passwd hadoop

按要求輸入兩次相同密碼即可；

B 修改使用者及網路環境

以root身份關閉防火牆，使用hadoop各個節點能夠相互通訊
systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall開機啟動

C 修改網絡卡配置，建議配置為靜態IP

以root身份配置網絡卡配置檔案

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改內容如下：

BOOTPROTO="static"

ONBOOT="yes"
IPADDR=192.168.226.129
GATEWAY=192.168.226.2
NETMASK=255.255.255.0
DNS1=192.168.226.2

D 修改機器名稱

以root身份修改/etc/hosts檔案內容

每一個機器ip 機器名稱
192.168.1.100 master
192.168.1.101 slavea
192.168.1.102 slaveb

儲存檔案

以root身份修改對應機器名稱

hostname master 臨時改變

vi /etc/hostname 永久改變
E 修改網路配置
以root身份修改/etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=master
使用如下命令使剛才的修改/etc/sysconfig/network生效
source /etc/sysconfig/network

service network restart

注意：修改其他節點機器

F 以root身份修改hadoop賬號，新增到sudoers

注意：

建立的hadoop使用者需要擁有臨時管理員身份

修改/etc/sudoers
新增內容
hadoop ALL=(ALL) NOPASSWD: ALL

重啟使之生效

2.3 SSH配置

Hadoop控制指令碼（並非守護程序）依賴SSH執行整個叢集的操作；

A：以root身份centerOs安裝啟動ssh服務
SSH 為 Secure Shell 的縮寫,SSH 為建立在應用層基礎上的安全協議。SSH 是目前較可靠，專為遠端登入會話和其他網路服務提供安全性的協議。
測試centeros檢查是否安裝了SSH包
rpm -qa|grep ssh
啟動ssh服務

systemctl restart sshd.service

B：以root身份修改sshd服務
需要編輯/etc/ssh/sshd_config開啟sshd服務.
放開標註的文件(去掉#)：
#RSAAuthentication yes
#PubkeyAuthentication yes
重啟服務，使剛才的修改生效（centos7上命令）

systemctl restart sshd.service

C：注意，以hadoop賬號身份登入，並操作 ssh免密
① 為每臺機器生成金鑰
命令：ssh-keygen - 生成、管理和轉換認證金鑰
引數
-t type
指定要建立的金鑰型別。
可以使用：“rsa1”(SSH-1) “rsa”(SSH-2) “dsa”(SSH-2)-P passphrase
提供(舊)密語
輸入命令：
ssh-keygen -t 'RSA'
在/home/使用者名稱/.ssh/目錄下生成金鑰檔案;
② 複製公鑰內容到authorized_keys檔案;
命令:
cat id_rsa.pub >> authorized_keys
chmod 644 authorized_keys
③ 將Slave1和Slave2中的>authorized_keys內容複製到Master的authorized_keys檔案中
④ 將Master中的authorized_keys檔案複製Slave1和Slave2中
scp authorized_keys [email protected]:/hadoop/.ssh/
⑤ 測試使用ssh進行無密碼登入
ssh Slave1 ssh登陸遠端伺服器
exit 並退出遠端登陸

注意：

遠端拷貝命令

scp 檔名使用者名稱@遠端ip:/路徑/
scp命令提供選項：
-p 拷貝檔案的時候保留原始檔簡歷的時間；
-q 執行檔案拷貝時，不顯示任何提示訊息；
-r 拷貝整個目錄；

-v 拷貝檔案時，顯示提示資訊；

2.4 以hadoop賬號身份登入，安裝hadoop叢集
2.4.1 解壓hadoop並配置相關環境變數
以hadoop使用者名稱解壓hadoop壓縮檔案
JAVA_HOME=/usr/java/jdk1.8.0_144
JRE_HOME=/usr/java/jdk1.8.0_144/jre
HADOOP_HOME=/home/hadoop/hadoop-2.9.0
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/etc/hadoop
export JAVA_HOME JRE_HOME CLASS_PATH HADOOP_HOME PATH

使用命令使配置生效:
source /etc/profile
2.4.2 修改hadoop-env.sh新增jdk環境
export JAVA_HOME=/usr/java/jdk1.8.0_144
hadoop有三種執行模式：
獨立(本地)模式：
無需執行任何守護程序，所有程式都在同一個JVM上執行，適合開發階段；
偽分佈模式：
hadoop守護程序執行在本地機器上，模擬一個小規模的叢集。
全分散式模式：
hadoop守護程序執行在一個叢集上。
2.4.3 修改core-site.xml檔案
hadoop core的配置項，如hdfs、MapReduce和YARN常用的I/O設定等；
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
執行hdfs需要將一臺機器指定為namenode，屬性fs.defaultFS描述hdfs檔案系統的uri，預設埠是8020.

<!–指定hadoop執行時產生檔案的儲存路徑–>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.9.0/wutemp</value>
</property>
2.4.4 修改hdfs-site.xml檔案
hdfs-site.xml配置檔案：
hadoop守護程序的配置項，包括namenode、輔助namenode和datanode等；

<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoop-2.9.0/wudata/name</value>
</property>
dfs.namenode.name.dir:
namenode儲存永久性的元資料的目錄列表。namenode在列表上的各個目錄中都存放相同的元資料檔案；

<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hadoop-2.9.0/wudata/data</value>
</property>
dfs.datanode.data.dir:
datanode存放資料塊的目錄列表。各個資料塊分別存放於某一個目錄中；

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
dfs.replication:
設定檔案備份係數，預設3；

<property>
<name>dfs.secondary.http.address</name>
<value>slavea:50090</value>
</property>
2.4.5 mapred-site.xml檔案
mapred-site.xml配置檔案：
MapReduce守護程序的配置項，包括作業歷史伺服器；
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
名稱mapreduce.framework.name:
指的是使用yarn執行mapreduce程式,啟動了HDFS之後，就可以啟動yarn了。執行命令start-yarn.sh即可啟動MapReduce叢集
2.4.6 yarn-site.xml檔案
Yarn守護程序的配置項，包括資源管理器、web應用代理伺服器和節點管理器；
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
yarn.resourcemanager.hostname屬性：
執行資源管理器的機器主機名，預設值：0.0.0.0

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
yarn.nodemanager.aux-services屬性：
節點管理器執行的附加服務列表。NodeManager上執行的附屬服務。需配置成mapreduce_shuffle，才可執行MapReduce程式；預設情況下，不指定附加服務。
2.4.7 為yarn新增客戶端計算機名稱
修改/home/hadoop/hadoop-2.9.0/etc/hadoop/slaves
master
slavea
slaveb

2.5 格式化HDFS檔案系統並啟動hdfs檔案系統
A: 首次使用hadoop前，必須格式化檔案系統，輸入如下命令：

hdfs namenode -format

B: 啟動和停止守護程序

start-dfs.sh #啟動hdfs

start-yarn.sh #啟動yarn

C：終止守護程序
stop-yarn.sh
stop-dfs.sh

注意：啟動守護程序
hadoop-daemon.sh start namenode
測試namenode程序情況：
jps
可以使用守護程序：
start-dfs.sh
啟動dfs報錯，如下：The authenticity of host 'master (192.168.223.110)' can't be established：
解決方法：
好記心不如爛筆頭，ssh登入　The authenticity of host 192.168.0.xxx can't be established.　的問題,即可不修改/etc/ssh/ssh_config檔案的配置而解決此問題：
ssh -o StrictHostKeyChecking=no 192.168.0.xx
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

2.6 測試叢集是否搭建成功
命令：
hdfs dfsadmin -report
在瀏覽器中測試hdfs
http://192.168.1.100:50070

hadoop叢集的安裝一準備工作