centos07安裝高可用叢集實戰從零開始
阿新 • • 發佈:2020-10-09
從centos06過來的人喜歡使用命令列性質的黑視窗。顯然cnetos7中的inittab中已經無法修改,但還是可以看到修改方法介紹。
命令列中:cat /etc/inittab
獲取當前模式 systemctl get-default
修改啟動模式為命令列模式 systemctl set-default multi-user.target
1.在安裝叢集之前請確保系統安裝了jdk等必備軟體。開始克隆虛擬機器。
2.修改虛擬機器名稱和存放位置,選擇完整克隆,不要連結克隆。一路下一步等待
3.克隆完成修改完主機對映和主機名,網路ip.ping通網路,類同參考搭建centos7虛擬機器,至少準備三臺虛擬機器。
4.配置虛擬機器之間通訊配置免密登入
在 centos登入狀態下,輸入命令 ssh-keygen 或者 ssh-keygen -t rsa
你會發現,在/home/centos/.ssh 目錄下生成了公鑰檔案
複製公鑰檔案到授權列表
cat ./id_rsa.pub >> authorized_keys
修改檔案許可權
chmod 600 ./authorized_keys
先手動在子節點建立資料夾mkdir -p .ssh
將該授權檔案 authorized_keys 檔案複製到子節點
scp ./authorized_keys [email protected]:~/.ssh/
scp ./authorized_keys
如果還需要輸入密碼則是許可權問題,需要把子節點授權
chmod 755 /home/centos
chmod 700 .ssh
chmod 600 .ssh/authorized_keys
每個節點來一次,保證每個節點可以正常互信
安裝高可用叢集之前需要提前安裝好zookeper,注意防火牆折騰我老半天。
5.上傳解壓安裝包
6.進入/home/centos/hadoop-2.7.6/etc/hadoop
修改 hadoop-env.sh 配置檔案,新增 jdk 安裝目錄配置
7.修改core-site.xml
8.cp mapred-site.xml.template mapred-site.xml
9.修改 yarn-site.xml
10.6、 修改 slaves
vi slaves
新增 datanode 的節點地址:
11.分發安裝包到子節點
scp -r hadoop-2.7.6 [email protected]:~
scp -r hadoop-2.7.6 [email protected]:~
12.各個節點並分別配置環境變數
sudo vi /etc/profile
新增兩行:
export HADOOP_HOME=/home/centos/hadoop-2.7.6
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin; H A D O O P H O M E / b i n ; HADOOP_HOME/bin; HADOOPHOME/bin;HADOOP_HOME/sbin
儲存退出
12.至此配置工作全部完成,接下來是
初始化操作。
啟動zookeeper。三個節點分別啟動
zkServer.sh start
zkServer.sh status
13.分別在每個 zookeeper(也就是規劃的三個 journalnode 節點,不一定跟 zookeeper
節點一樣)節點上啟動 journalnode 程序
hadoop-daemon.sh start journalnode
如果報錯根據報錯資訊檢查配置檔案,我就報錯
修改成功後,jps。可以看到程序journalnode
14.在主節點centos07上進行格式化操作
namenode 上執行格式化操作
hadoop namenode -format
然後會在 core-site.xml 中配置的臨時目錄中生成一些叢集的資訊在另一個 namenode 上執行:hadoop namenode -bootstrapStandby
15.格式化 ZKFC
hdfs zkfc -formatZK
16.免密一定要做好自己給自己也要追加一次,不然namenode起不來
17.、 啟動 HDFS
start-dfs.sh
至此程序全部啟起來