Hadoop配置歷史伺服器及日誌聚合
阿新 • • 發佈：2019-01-08
歷史伺服器
作用：檢視我們已經完成的任務歷史記錄，日誌記錄。
配置檔案：mapred-site.xml
--》指定歷史伺服器所在位置及埠號
<property>
<name>mapreduce.jobhistory.address</name>
<value>bdqn.linux.com:10020</value>
</property>
--》指定歷史伺服器所在的外部瀏覽器互動埠號及機器位置
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bdqn.linux.com:19888</value>
</property>
日誌聚合
作用：
一、將我們操作的日誌檔案聚合到一起，通過web介面方便我們檢視，並可以設定日誌儲存時間，可節省空間
二、在網頁能夠檢視map和reduce的任務日誌
三、儲存在HDFS上的，比較容易讀取
配置：yarn-site.xml
--》開啟日誌聚合功能
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
--》指定日誌儲存時間（單位為秒）
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
啟動節點進行測試：
sbin/mr-jobhistory-daemon.sh start historyserver
jps檢視節點：
9331 JobHistoryServer
web頁面檢視：
bdqn.linux.com:19888
關閉節點的方法：
sbin/mr-jobhistory-daemon.sh stop historyserver
二、SSH免密碼登入
1.生成公鑰私鑰對
ssh-keygen -t rsa
在使用者家目錄下的.ssh/會生成兩個檔案：id_rsa.pub和id_rsa。前者是公鑰，後者是私鑰
拷貝公鑰至authorized_keys檔案
2.執行：$ ssh-copy-id hostname
注意：若配置完成後不生效，問題可能出現在目錄許可權上
drwx------. 2 root root 4096 6月 27 09:01 .ssh
.ssh目錄只能所屬者擁有許可權
使用者~目錄 ，其他使用者不能有任何許可權
作用：檢視我們已經完成的任務歷史記錄，日誌記錄。
配置檔案：mapred-site.xml
--》指定歷史伺服器所在位置及埠號
<property>
<name>mapreduce.jobhistory.address</name>
<value>bdqn.linux.com:10020</value>
</property>
--》指定歷史伺服器所在的外部瀏覽器互動埠號及機器位置
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bdqn.linux.com:19888</value>
</property>
日誌聚合
作用：
一、將我們操作的日誌檔案聚合到一起，通過web介面方便我們檢視，並可以設定日誌儲存時間，可節省空間
二、在網頁能夠檢視map和reduce的任務日誌
三、儲存在HDFS上的，比較容易讀取
配置：yarn-site.xml
--》開啟日誌聚合功能
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
--》指定日誌儲存時間（單位為秒）
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
啟動節點進行測試：
sbin/mr-jobhistory-daemon.sh start historyserver
jps檢視節點：
9331 JobHistoryServer
web頁面檢視：
bdqn.linux.com:19888
關閉節點的方法：
sbin/mr-jobhistory-daemon.sh stop historyserver
二、SSH免密碼登入
1.生成公鑰私鑰對
ssh-keygen -t rsa
在使用者家目錄下的.ssh/會生成兩個檔案：id_rsa.pub和id_rsa。前者是公鑰，後者是私鑰
拷貝公鑰至authorized_keys檔案
2.執行：$ ssh-copy-id hostname
注意：若配置完成後不生效，問題可能出現在目錄許可權上
drwx------. 2 root root 4096 6月 27 09:01 .ssh
.ssh目錄只能所屬者擁有許可權
使用者~目錄 ，其他使用者不能有任何許可權