CDH 5.0 安裝教程。
前提工作
1.安裝jdk
- java -version
- javac -version
2.ssh 免密
這裡master節點和其他datanode節點會略有區別。 首先說有節點均執行如下命令，遇到提示一路回車即可：
- ssh-keygen -t rsa
然後在主節點執行以下命令：
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
scp檔案到所有datenode節點：
- scp ~/.ssh/authorized_keys [email protected]:~/.ssh/
複製程式碼
3.修改主機名，修改為靜態ip.
4.關閉防火牆（所有節點）
防火牆會引起hadoop相關元件通訊的各種異常。
防火牆：
- service iptables stop (臨時關閉)
- chkconfig iptables off (重啟後生效)
關閉SELINUX：
5.安裝NTP服務（所有節點，保持伺服器的時間同步）
6.安裝到主節點mysql
安裝好mysql後，為hadoop各元件建立資料庫
-- 建立hive資料元資料庫
create database metastore DEFAULT CHARACTER SET latin1;
-- 建立scm資料庫
create database scm DEFAULT CHARACTER SET utf8;（在下面初始化，此處可不建立！）
-- 建立amon資料庫
create database amon DEFAULT CHARACTER SET utf8;
-- 建立rmon資料庫
create database rmon DEFAULT CHARACTER SET utf8;
-- 建立sentry資料庫
create database sentry DEFAULT CHARACTER SET utf8;
-- 建立hue資料庫
create database hue CHARACTER SET utf8;
-- 建立oozie資料庫
create database oozie CHARACTER SET utf8;
最後統一賦予許可權root-帳號 root123-密碼master 主機名
grant all on *.* TO 'root'@'密碼' IDENTIFIED BY 'root123';
7 正式安裝CDH
首先下載如下 CM是叢集管理工具， CDH 就是安裝包
7.1 安裝Cloudera Manager 5
正式開工安裝Cloudera Manager 5（cm5）
下載地址http://archive-primary.cloudera.com/cm5/cm/5/，根據自己的系統選擇相應的版本，本次安裝選用的是cloudera-manager-el6-cm5.0.0_x86_64.tar.gz。下載完成後只上傳到master節點即可。然後解壓到/opt目錄下，不能解壓到其他地方，因為cdh5的源會預設在/opt/cloudera/parcel-repo尋找 。給所有節點新增cloudera-scm使用者：
useradd --system --home=/opt/cm-5.0.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
修改/opt/cm-5.0.0/etc/cloudera-scm-agent/config.ini 下面的serer_host
server_host=你的主機名
為Cloudera Manager 5建立資料庫：
/opt/cm-5.0.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -P3306 -uroot -p123456 --scm-host localhost scm scm scm
格式是:scm_prepare_database.sh 資料庫型別 資料庫名字 伺服器 埠號 使用者名稱 密碼 –scm-host Cloudera_Manager_Server所在的機器，後面那三個不知道代表什麼，直接照抄官網的了。 因為我們用的是Mysql資料庫，所以我們需要下載Mysql的JDBC驅動，本次從官網上下載最新穩定版：mysql-connector-java-5.1.30.tar.gz，解壓之後找到mysql-connector-java-5.1.30-bin.jar放到/opt/cm-5.0.0/share/cmf/lib/目錄下。 開啟Cloudera Manager 5 Server端：
/opt/cm-5.0.0/etc/init.d/cloudera-scm-server start
注意server首次啟動不要立即關閉或重啟，因為首次啟動會自動建立相關表以及資料，如果因為特殊原因中途退出，請先刪除所有表以及資料之後再次啟動，否則將會出現啟動不成功的情況。 開啟Cloudera Manager 5 Agents端。 先scp /opt/cm-5.0.0到所有datanode節點上，然後在每臺機器上開啟Agents端：
scp -r /opt/cm-5.0.0 [email protected]:/opt/cm-5.0.0
等待拷貝成功，在所有datanode節點上啟動：（注意必須以管理員許可權啟動）
sudo /opt/cm-5.0.0/etc/init.d/cloudera-scm-agent start
瀏覽器啟動Cloudera Manager 5 控制檯（預設埠號是7180），啟動成功就會看到登陸頁面。
https://hostnode:7180
7.2 安裝CDH
安裝CDH5
先下載到本地http://archive-primary.cloudera.com/cdh5/parcels/5.0.0/，這裡需要下載三樣東西，首先是與自己系統版本相對應的parcel包，然後是manifest.json檔案。還有sha1結尾的檔案。下載完成後將這兩個檔案放到master節點的/opt/cloudera/parcel-repo下（目錄在安裝Cloudera Manager 5時已經生成），注意目錄一個字都不能錯，接下來開啟manifest.json檔案，裡面是json格式的配置，我們需要的就是與我們系統版本相對應的hash碼，所以找到如下位置：
在這個大括號的最下面找到“hash”所對應的值。
（我是線上下載的，一直提示我hash錯誤）無解
將“hash”的值複製下來，把sha1結尾的檔案裡的hash替換掉。好了，我們的本地源製作完成了。這樣基本大功告成了，再之後的操作就是控制檯按照步驟安裝即可。
開啟http://192.168.1.101:7180，登陸控制檯，預設賬戶和密碼都是admin，安裝時選擇免費版，之後由於cm5對中文的支援很強大，按照提示安裝即可，如果系統配置有什麼問題在安裝過程中會有提示，根據提示給系統安裝元件就可以了。
如果在安裝時選擇了安裝Hive，可能會遇到安裝失敗的問題，檢視一下日誌發現時安裝Hive時需要安裝JDBC驅動，所以同樣我們將Mysql的驅動包拷貝到/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hive/lib/目錄下，之後再繼續安裝就不會遇到問題了。