1.大資料指CDH叢集搭建詳細步驟(一)
1.使用CDH,其中CDH表示的意思是Cloudera’s Distribution Including Apache Hadoop,簡稱“CDH”)
基於web的使用者介面,支援大多數的hadoop元件,包括了HDFS,MapReduce以及HIve和Pig
Hbase以及Zookeeper以及Sqoop,簡化了大資料平臺的安裝以及使用的難度
首先第一步,關閉防火牆,具體的linux命令如下所示;
擴充套件:防火牆命令相關基本設定如下所示:
1、firewalld的基本使用 啟動: systemctl start firewalld 關閉: systemctl stop firewalld 檢視狀態: systemctl status firewalld 開機禁用 : systemctl disable firewalld 開機啟用 : systemctl enable firewalld
然後使用linux命令進行相關的驗證一下:
然後去更改主機名:
使用命令如下所示:
使用命令hostnamectl status
展示結果如下所示:
展示hostanme的狀態:
將主機名的名稱進行更改相關的引數如下所示:
我是將hostname的名稱改成了cm-server
setenforce 0
設定SELinux 成為permissive模式 臨時關閉selinux的
更改過後,然後檢視以下相關的狀態,執行一下相關的linux命令進行相關的檢視具體命令如下所示:
使用ssh的主節點訪問子節點時候的節點免密去訪問:
記錄:主節點訪問子節點的時候ssh是沒有認證以及admin的認證的:
相關部分的的配置如圖所示;:
下一步在cm-server也就是當前ssh登陸所使用上安裝資料庫
相關的操作步驟如下所示:
安裝過程如下所示:
下載完成過後如下所示:
讀入y進行相關的安裝包的安裝;
在cm-server上安裝mariadb上,其目的是用於後期資料儲存
完成之後展示過程如下所示:
完畢過後,顯示如下所示:
之後進行相關配置的更改,過程如下所示:
linux下在該配置檔案下更改目錄,詳細目錄如下所示:
本人機器的目錄如下所示:
將onboot改成如下所示:
之前將主機名更改成如下所示:
顯示結果如下所示:
為了使用ifconfig檢視網路:
顯示結果如下所示:
安裝JDK(每臺機器,分散式的機器都需要,每一臺),首先解除安裝原有的openjdk
linux下解除安裝jdk相關教程,如下所示:
將機器中原始的JDK刪除,裝上帶有rpm字尾的新的JDK
在該資料夾下更改相關的配置,如下圖所示:
修改每臺伺服器的有關配置hostname,selinux關閉,防火牆關閉,hostname修改,分別對三臺都進行更改,並且注意每臺名稱
和ip.每臺都要配上hosts,下面以cdh1為例
三個叢集之間網路同步:
ntp伺服器配置:
目的用於3個節點之間實現時間同步: