1. 程式人生 > >CDH5部署三部曲之一:準備工作

CDH5部署三部曲之一:準備工作

### 歡迎訪問我的GitHub [https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos) 內容:所有原創文章分類彙總及配套原始碼,涉及Java、Docker、Kubernetes、DevOPS等; ### 系列介紹 《CDH5部署三部曲》共三篇文章,對CDH5.7.2版本的準備、部署、啟動、設定等環節進行實戰,內容如下: 第一篇:《準備工作》,即CDH叢集中每一臺機器都要做的操作; 第二篇:《部署和設定》,本章完成CDH叢集部署和啟動; 第三篇:《問題總結》,列出實戰中遇到的問題及解決辦法; ### 系列文章連結 1. [《CDH5部署三部曲之一:準備工作》](https://blog.csdn.net/boling_cavalry/article/details/105340968) 2. [《CDH5部署三部曲之二:部署和設定》](https://blog.csdn.net/boling_cavalry/article/details/105341713) 3. [《CDH5部署三部曲之三:問題總結》](https://blog.csdn.net/boling_cavalry/article/details//105342156) ### 版本資訊 1. CentOS:7.6.1810 2. Python: 2.7.5(作業系統自帶) 3. CM包:cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz ### 伺服器規劃 本次搭建的CDH叢集一共用到三臺機器,一臺master,另外兩臺是agent: | 主機名 | IP地址 | 記憶體 | 身份 | |--|--|--|--| | master | 192.168.133.152 | 雙核4G記憶體 | 管理節點 | | worker1 | 192.168.133.153 | 雙核8G記憶體 | 任務節點 | | worker2 | 192.168.133.154 | 雙核16G記憶體 | 任務節點 | ### 檔案下載 1. cm下載地址:http://archive.cloudera.com/cm5/cm/5/ ,找到自己需要的cm包下載,本次實戰用的是cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz,如下圖紅框: ![在這裡插入圖片描述](https://img2020.cnblogs.com/other/485422/202010/485422-20201013075657347-1962529598.png) 2. parcel下載地址:http://archive.cloudera.com/cdh5/parcels ,本次實戰用到的是CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel,請下載下圖紅框中的三個檔案,注意一共要下載三個檔案: ![在這裡插入圖片描述](https://img2020.cnblogs.com/other/485422/202010/485422-20201013075658196-1251807371.png) ### 所有機器都要做的相同操作 以下操作需要master、worker1、worker2各自做一遍: 1. 本次實戰在所有機器上的操作,都使用root賬號; 2. 確保所有機器都可以用SSH工具遠端登入; 3. 安裝時間同步工具: ```shell yum install -y ntpdate ``` 4. 時間同步: ```shell ntpdate cn.ntp.org.cn ``` 5. 關閉和禁用防火牆: ```shell systemctl stop firewalld && systemctl disable firewalld ``` 6. 關閉SELINUX:開啟檔案/etc/selinux/config,找到SELINUX=xxx那一行,改為SELINUX=disabled,如下圖紅框: ![在這裡插入圖片描述](https://img2020.cnblogs.com/other/485422/202010/485422-20201013075659052-593086035.png) 7. 關閉swap:開啟檔案/etc/fstab,找到帶有swap的那一行,註釋掉,如下圖紅框: ![在這裡插入圖片描述](https://img2020.cnblogs.com/other/485422/202010/485422-20201013075659818-1996876174.png) 8. 重啟電腦; 9. 新建資料夾/usr/lib/jvm 10. 安裝JDK,我這裡下載的是jdk-8u191-linux-x64.tar.gz,解壓後是個名為jdk1.8.0_191的資料夾,將此資料夾放在/usr/lib/jvm目錄下; 11. 開啟檔案/etc/profile,在尾部增加以下內容: ```shell export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH ``` 12. 使配置生效: ```shell source /etc/profile ``` 13. CDH預設的JDK目錄是 /usr/java/default,因此要建立軟連結,執行以下命令: ```shell mkdir /usr/java && ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default ``` 14. 檢查Python是否可用,如果沒有還請自行安裝,本次用到的是2.6或者2.7版本: ![在這裡插入圖片描述](https://img2020.cnblogs.com/other/485422/202010/485422-20201013075700328-1668091286.png) 15. 安裝多個依賴包: ```shell yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb ``` 16. 建立目錄: ```shell mkdir /opt/cloudera-manager ``` 17. 把前面準備好的檔案cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz上傳到master,執行以下命令將該檔案解壓到/opt/cloudera-manager目錄: ```shell tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager/ ``` 18. 建立賬號cloudera-scm: ```shell useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm ``` 19. 編輯檔案config.ini: ```shell vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini ``` 20. 修改server_host的值,改為master,如下圖紅框所示: ![在這裡插入圖片描述](https://img2020.cnblogs.com/other/485422/202010/485422-20201013075700746-1813786872.png) 21. 新建目錄 /usr/share/java/,將剛才下載的mysql-connector-java-5.1.34.jar放入該目錄,並改名為mysql-connector-java.jar ### 三臺電腦相互免密碼登入設定 1. 三臺電腦的/etc/hosts檔案,都增加以下相同內容: ```shell 192.168.133.154 master 192.168.133.155 worker1 192.168.133.156 worker2 ``` 2. 三臺電腦都執行命令:ssh-keygen 然後四個回車完成ssh公私鑰建立; 3. 在master執行ssh-copy-id root@worker1、ssh-copy-id root@worker2 4. 在worker1執行ssh-copy-id root@master、ssh-copy-id root@worker2 5. 在worker2執行ssh-copy-id root@master、ssh-copy-id root@worker1 至此,準備工作全部完成,請確保所有機器都做了上述操作,下一篇會用這些機器來完成部署。 ### 歡迎關注公眾號:程式設計師欣宸 > 微信搜尋「程式設計師欣宸」,我是欣宸,期待與您一同暢遊Java世界... [https://github.com/zq2599/blog_demos](https://github.com/zq2599/blo