CDH5.12.1 安裝部署
###通過http://192.168.50.200:7180/cmf/login 訪問CM控制臺
4.CDH安裝
4.1CDH集群安裝向導
1.admin/admin登陸到CM
2.同意license協議,點擊繼續
3.選擇60試用,點擊繼續
4.點擊“繼續”
5.輸入主機IP或者名稱,點擊搜索找到主機名後點擊繼續
6.點擊“繼續”
7.使用parcel選項,點擊“更多選項”,點擊“-”刪除其他所有的地址,輸入http://ip-192-168-50-200.hns.com/cdh5.12.1/點擊“保存更改”
8.選擇自定義存儲庫,輸入cm的http地址
9.點擊“繼續”,進入下一步安裝jdk
10.點擊“繼續”,進入下一步,默認多用戶模式
11.點擊“繼續”,進入下一步配置ssh賬號密碼:
12.點擊“繼續”,進入下一步,安裝Cloudera Manager相關到各個節點
13.點擊“繼續”,進入下一步安裝cdh到各個節點
14.點擊“繼續”,進入下一步主機檢查,確保所有檢查項均通過
上述的解決方案:
在每臺機器上執行如下操作:
[root@ip-192-168-50-200 ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@ip-192-168-50-200 ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@ip-192-168-50-200 ~]# echo "vm.swappiness = 10" >> /etc/sysctl.conf
[root@ip-192-168-50-200 ~]# sysctl -p
點擊完成進入服務安裝向導!!!
4.2 集群設置安裝向導
1.選擇需要安裝的服務,此處使用自定義服務,如下圖
2.點擊“繼續”,進入集群角色分配
HDFS角色分配:
Hive角色分配:
Cloudera Manager Service 角色分配:
Spark角色分配:(Spark on Yarn 所以沒有spark的master和worker 角色)
Yarn角色分配:
Zookeeper角色分配:(至少3個Server)
3.角色分配完成點擊“繼續”,進入下一步,測試數據庫連接
4.測試成功,點擊“繼續”,進入目錄設置,此處使用默認默認目錄,根據實際情況進行目錄修改
5.點擊“繼續”,等待服務啟動成功!!!
6.點擊“繼續”,顯示集群安裝成功!
7.安裝成功後,進入home管理界面
5.快速組建服務驗證
5.1HDFS驗證(mkdir+put+cat +get)
mkdir操作:
put 操作:
cat 操作:
get 操作:
5.2 Hive 驗證
使用hive命令行操作
CDH5.12.1 安裝部署