安裝Ambari叢集採坑記錄

• 叢集基礎配置
  1.我這裡把主機命名為note1，從機note2。配置主從機本地域名 /etc/hosts下新增ip和域名。
  2.配置主機ssh免密登入note2。ssh相關配置
  3.安裝ntp ： apt-get install -y ntp
  4.禁用Transparent Huge Page（禁用大記憶體頁面可以提升MR效率）echo never > /sys/kernel/mm/transparent_hugepage/enabled

（以上從機note2已經配置就緒，可在note1中測試下能否登入）

• 伺服器配置
  1.將提前下載好的ambari，HDP，HDP-Util統一解壓後放到一個資料夾下。我這裡選擇/opt。另外再將jdk-1.8.tar.gz的包 (1.8的都行) 新增到資料夾中，在後續使用。
  2.在/opt目錄下執行python -m SimpleHTTPServer
  ，埠預設8000。然後我們就可以通過http的形式訪問改檔案夾了。所以我這邊通過瀏覽器輸入http://note1:8000/訪問到主機的/opt目錄。
  3.新增一個ambari源，在/etc/apt/sources.list.d/下新增一個檔案ambari.list。填入一下內容：deb http://${你主機host，我這裡為note1}:8000/ambari/ubuntu16/ Ambari main 地址其實就ambari-server的解壓後的子路徑，用於後續安裝使用。
  4.配置獲取公鑰：apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
  （其中keyserver.ubuntu.com表示可下載公鑰的伺服器，B9733A7A07513CAD為簽名）
  5.執行apt-get update 和 apt-get install -y ambari-server安裝服務。
  6.修改配置，安裝完成後預設會生成一個配置檔案/etc/ambari-server/conf/ambari.properties。修改jdk1.8.url，目標就是第一步我們放入opt下面的檔案。所以我這裡為http://note1:8000/jdk-1.8.tar.gz 了。
  7.修改完後我們就可以初始化ambari了，執行ambari-server setup。這裡我們遇到兩個警告。
  一是：WARNING: Before starting Ambari Server, you must copy the MySQL JDBC driver JAR file to /usr/share/java and set property "server.jdbc.driver.path=[path/to/custom_jdbc_driver]" in ambari.properties.
  ，我們按照提示將mysql-connector-java.jar （不管什麼版本，名稱只能是這個）放入/usr/share/java，並在ambari.properties中新增server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar。
  二是：讓我們執行/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql這個指令碼，可是我執行後卻又一堆不成功（不曉得是不是這個版本的問題）。於是需要手動修改一下。我們在# USE @schema;下開始加入自己的邏輯CREATE DATABASE ambari;
CREATE DATABASE hive;
GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%'
IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%'
IDENTIFIED BY 'hive';
FLUSH PRIVILEGES;
use ambari;
其中hive的部分是為後續儲存其源資料準備。修改完另存為，然後再執行指令碼。
  9.執行ambari-server start
  啟動過程也多次出現問題。比如Caused by: java.net.ConnectException: Connection refused (Connection refused)連線資料庫失敗，這時候檢測資料庫是否能正常連線。我也是發現新裝的mysql要修改mysqld.cnf才能連結成功的。以上是我遇到的部分問題，bug各有不同，就要通過日誌來進行對應的修改了。下面讓我們下配置完成後的正常啟動吧。
  

• 配置hdp叢集
  ambari啟動的預設埠為8080，我們開啟伺服器頁面。賬號密碼：admin
  
  進去後第一步：我們選擇：Launch Install Wizard 。建立一個自己的叢集。
  第二部：名字任意。
  第三步：Select Stack。這裡我們選擇 HDP2.6 -》Use Local Repository -》Ubuntu16。分別填入自己的url。
  http://${主機}:8000/HDP/ubuntu16/2.6.3.0-235/
http://${主機}:8000/HDP-UTILS-1.1.0.21-ubuntu16/
  
  第四步：Target Hosts填入我們的主機和從機hostname，SSH Private Key填入你主機使用者下私鑰：~/.ssh/id_rsa。SSH User Account 填入你使用ssh的使用者，建議都是root。
  第五步：確認ssh是不是連得上你所有機器。連不上再重新配置再重新整理。
  第六步：安裝你需要的元件，有些必須的你去掉了也是讓你選上的。
  
  第七步：選擇主從機安裝的元件（hive Metastore最好放到有安裝mysql的伺服器）
  
  第八步：制定服務。這裡需要我們測試下hive的連線。我這裡是報錯找不到JDBC。它提示在ambari-server setup加入啟動引數。我嫌麻煩繼續往下走了。
  後續hive的安裝確實出問題了

SLF4J: Found binding in [jar:file:/usr/hdp/2.6.3.0-235/hive2/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/hdp/2.6.3.0-235/hadoop/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:    jdbc:mysql://note1/hive
Metastore Connection Driver :    com.mysql.jdbc.Driver
Metastore connection User:   hive
org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver
Underlying cause: java.lang.ClassNotFoundException : com.mysql.jdbc.Driver
org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver

於是我手動將mysql-connector-java.jar加入到 /usr/hdp/2.6.3.0-235/hive2/lib/ 下。

安裝時問題：

error processing archive /var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE/package
/files/deb/*.deb (--install):

這種就是上面 伺服器配置 中提到的ambari原始檔設定問題，配置好後執行下apt-get update。然後再次安裝。

有問題就看日誌。修改完然後Start All 讓它重新啟動全部應用就行了。

成功後就可以好好玩耍了！