歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；

為什麼會超簡單

藉助ansible簡化了CDH6部署工作的大部分內容，也降低了手工操作失誤的概率，今天實戰的內容，是在一臺安裝了ansible的電腦上(蘋果或Linux作業系統)執行ansible指令碼，遠端操作一臺CentOS伺服器，在上面部署CDH6，並操作驗證本次部署是否成功。

ansible學習

如果您想了解ansible，請參考《ansible2.4安裝和體驗》

為什麼要部署單機版CDH6

主要是用來做為大資料技術的學習和開發的環境，並不適合生產；

實戰簡述

本次實戰內容：部署、啟動、驗證，整個過程如下圖所示：

全文大綱

本文由以下章節組成：

1. 環境資訊；
2. 下載檔案；
3. 檔案擺放；
4. CDH機器設定；
5. ansible引數設定；
6. 部署；
7. 重啟CDH伺服器
8. 啟動；
9. 設定；
10. 修復問題；
11. 體驗；

環境資訊

本次實戰的操作過程如下圖所示，安裝ansible2.9版本的MabBook Pro電腦作為ansible伺服器，執行playbook指令碼，對一臺CentOS伺服器進行遠端操作，完成CDH6的部署和啟動：

上圖藍色背景的電腦，可以是蘋果作業系統，也可以是Linux作業系統，黃色背景的電腦要用來執行CDH6，必須是CentOS7.7作業系統(實在對不起，我這條件有限，別的系統沒有試過)

整個實戰涉及的環境版本資訊如下：

1. ansible伺服器：macOS Catalina 10.15(實測用CentOS7.7也成功)
2. CDH伺服器：CentOS Linux release 7.7.1908
3. cm版本：6.1.0
4. parcel版本：6.1.1
5. jdk版本：8u191

下載檔案(ansible伺服器)

本次實戰用到的所有檔案如下表所示：

上述11個檔案的下載地址：

1. jdk-8u191-linux-x64.tar.gz：Oracle官網可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987
2. mysql-connector-java-5.1.34.jar：maven中央倉庫可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987
3. cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm
4. cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm
5. cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm
6. CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel：https://archive.cloudera.com/cdh6/6.1.1/parcels/CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel
7. CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha：https://archive.cloudera.com/cdh6/6.1.1/parcels/CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha256 （下載完畢後，將副檔名從.sha256改為.sha）
8. hosts、ansible.cfg、cdh-single-install.yml、cdh-single-start.yml：這四個檔案都儲存在我的GitHub倉庫，地址是：https://github.com/zq2599/blog_demos ，這裡面有多個資料夾，上述檔案在名為ansible-cdh6-single的資料夾中，如下圖紅框所示：
   

檔案擺放(ansible伺服器)

如果您已經下載好了上述11個檔案，請按照如下位置擺放，這樣才能順利完成部署：

1. 在家目錄下新建名為playbooks的資料夾：mkdir ~/playbooks
2. 把這四個檔案放入playbooks資料夾：hosts、ansible.cfg、cdh-single-install.yml、cdh-single-start.yml
3. 在playbooks資料夾裡新建名為cdh6的子資料夾；
4. 把這七個檔案放入cdh6資料夾(即剩餘的七個)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm、cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm、cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm、CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel、CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha
5. 擺放完畢後目錄和檔案情況如下圖，再次提醒，資料夾playbooks一定要放在家目錄下（即：~/）：
   

CDH伺服器設定

本次實戰中，CDH伺服器hostname是deskmini，IP地址是192.168.50.134，需要做以下操作：

1. 請確保CDH伺服器能SSH登入(使用者名稱+密碼)；
2. SSH登入到部署CDH的機器；
3. 檢查/etc/hostname檔案是正確，如下圖：
   
4. 修改/etc/hosts檔案，將自己的IP地址和hostname配置上去，如下圖紅框所示（事實證明這一步很重要，如果不做可能導致在部署時一直卡在"分配"階段，看agent日誌顯示agent下載parcel的進度一直是百分之零）：
   

ansible引數設定(ansible伺服器)

ansible引數設定的操作設定很簡單，就是把部署CDH的機器資訊配置好即可，包括IP地址、登入賬號、密碼等，修改~/playbooks/hosts檔案，內容如下所示，您需要根據自身情況修改deskmini、ansible_host、ansible_port、ansible_user、ansible_password：

[cdh_group]
deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888

部署(ansible伺服器)

1. 進入~/playbooks目錄；
2. 檢查ansible遠端操作CDH伺服器是否正常，執行命令ansible deskmini -a "free -m"，正常情況下顯示CDH伺服器的記憶體資訊，如下圖：
   
3. 執行此命令開始部署：ansible-playbook cdh-single-install.yml
4. 整個部署過程涉及線上安裝、傳遞檔案等耗時的操作，因此請耐心等待（半小時左右），我在部署期間遭遇網路問題導致失敗退出，待網路正常後再重新執行上述操作即可，ansible保證了操作的冪等性；
5. 部署成功如下圖所示：
   

重啟CDH伺服器

由於修改了selinux和swap的設定，需要重啟作業系統才能生效，因此請重啟CDH伺服器；

啟動(ansible伺服器)

1. 等待CDH伺服器重啟成功；
2. 登入ansible伺服器，進入~/playbooks目錄；
3. 執行此命令開始初始化資料庫，然後啟動CDH：ansible-playbook cdh-single-start.yml
4. 啟動完成輸出如下資訊：
   

設定(網頁)

CDH已經啟動，CDH伺服器對外提供了web服務，可以通過瀏覽器來操作：

1. 瀏覽器訪問：http://192.168.50.134:7180 ，如下圖，賬號密碼都是admin：
   
2. 一路next，在選擇版本頁面選擇60天體驗版：
   
3. 選擇主機頁面可見deskmini：
   
4. 選擇下圖紅框中的CDH版本，因為對應的離線包已經複製到CM的本地倉庫，無需下載：
   
5. 下載瞬間完成，等候分配、解壓、啟用：
   
6. 選擇服務的頁面，我這裡選擇了Data Engineering，因為需要spark：
   
7. 選擇機器的頁面，全選deskmini：
   
8. 資料庫設定頁面，請和下圖保持一致，資料庫主機都是localhost，每個資料庫的名稱、使用者名稱、密碼都相同，分別是：hive、amon、rman、oozie、hue
   
9. 引數設定頁面，請根據磁碟情況適當調整儲存路徑，例如我的/home目錄空間充足，這裡都改到了/home目錄下面：
   
10. 等待啟動完成：
    
11. 等待啟動完成後，如下圖所示：
    
    至此，所有服務啟動完成，不過有兩個小問題需要修復；

修復HDFS問題

1. 服務整體情況如下圖，HDFS服務有問題，點選紅框中的圖示：
   
2. 點選下圖紅框位置：
   
3. 故障詳情如下圖所示，屬於常見的副本不足的問題：
   
4. 如下圖所示，修改HDFS的配置dfs.replication，從3改成1，然後儲存更改：
   
5. 重啟服務：
   
6. 經過上述設定，副本數已經調整為1，但是已有檔案的副本數還沒有同步，需要重新做設定，SSH登入到電腦deskmini上；
7. 執行命令vi /etc/passwd，找到賬號hdfs的配置，如下圖紅框所示，/sbin/nologin這樣的shell會導致切換到hdfs賬號失敗：
   
8. 將上述紅框中的內容改為/bin/bash，修改後如下圖紅框所示：
   
9. 執行命令su - hdfs，即可切換到hdfs賬號，此時執行以下命令即可完成副本數設定：

hadoop fs -setrep -R 1 /

10. 服務已經全部正常了：
    

調整YARN引數避免spark-shell啟動失敗

1. YARN預設給容器分配的記憶體過小，導致啟動spark-shell失敗，需要調整YARM相關的記憶體引數：
   
2. 在YARN的配置頁面，調整yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb這兩個引數的值，我這裡將這個兩個引數的值都改成8G（請按照自己電腦實際硬體配置來調整），如下圖：
   
3. 重啟YARN：
   
4. 執行spark-shell命令之前，先執行命令su - hdfs切換到hdfs賬號；
5. 這次終於成功進入spark-shell互動模式：
   
   至此，CDH6的部署、啟動、設定都已經完成，接下來體驗一下大資料服務；

體驗HDFS和Spark

接下來執行一個Spark任務，經典的WordCount：

1. 準備一份文字檔案，裡面是英文內容，您可以下載這個檔案：https://raw.githubusercontent.com/zq2599/blog_demos/master/files/GoneWiththeWind.txt
2. 登入SSH，切換到hdfs賬號；
3. 建立HDFS資料夾：

hdfs dfs -mkdir /input

4. 將文字檔案上傳到/input目錄：

hdfs dfs -put ./GoneWiththeWind.txt /input

5. 執行命令spark-shell，啟動一個worker；
6. 輸入以下命令，即可完成一次WorkCount任務，192.168.50.134是deskmini的IP地址：

sc.textFile("hdfs://192.168.50.134:8020/input/GoneWiththeWind.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://192.168.50.134:8020/output")

7. 執行完畢後，下載結果檔案：

hdfs dfs -get /output/*

8. 上述命令將spark任務的結果檔案part-00000、part-00001下載到本機，用vi命令檢視檔案，如下圖，可見WorkCount執行成功：
   
9. 在瀏覽器上檢視歷史任務，地址是：http://192.168.50.134:18088 ，可見此次任務的詳情：
   
   至此，CDH6的部署、設定、體驗都已經完成，如果您正在搭建自己的學習或者開發環境，希望本文能給您一些參考。

深度定製

整個實戰雖然避免了傳統部署過程中的大量手動操作，但弊端也很明顯：所有路徑、檔名、服務版本都是固定的，不能做任何設定，雖然ansible也支援變數，但是如果變數太多也會給您帶來困擾，所以，如果您有修改版本或路徑的需求，建議您自行修改cdh-single-install.yml、cdh-single-start.yml的內容，所有檔案和版本資訊都在裡面。

歡迎關注公眾號：程式設計師欣宸

微信搜尋「程式設計師欣宸」，我是欣宸，期待與您一同暢遊Java世界...
https://github.com/zq2599/blog_demos