【YARN】Hadoop YARN框架搭建
阿新 • • 發佈:2018-12-18
前提
配置
Yarn架構配置 【mapred-site.xml.temple配置】 先重新命名為mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> # 指定mapreduce基於yarn執行 </property> </configuration> 【yarn-site.xml配置】 <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> # 指定mapreduce的時候使用shuffle過程 </property> <property> <name>yarn.resourcemanager.hostname</name> <value>dong-01.cym.com</value> # 指定resourcemanager所在伺服器主機名 </property> </configuration> 啟動: sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager 本地訪問:dong.cym.com:8088
1. 將mapred-site.xml.template拷貝一份
2.配置mapred-site.xml
3.配置yarn-site.xml
4.啟動
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
5.本地訪問(主機名:8088)
測試(使用yarn跑任務,使用官方案例jar包)
1.統計詞頻案例執行
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test.txt /output
2.檢視結果
配置日誌檔案(日誌聚合)
【MapReduce historyserver】 1、歷史伺服器:檢視已經執行完成的應用記錄 修改mapred-site.xml 指定historyserver的地址,內部和外部通訊埠號,如果不指定預設是本機 historyserver是一個輕量級的服務,可以部署在任意一臺節點上 2、配置(在mapred-site.xml中): 注意:這裡的埠號不能隨便修改 <property> <name>mapreduce.jobhistory.address</name> <value>bigdata-04:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>bigdata-04:19888</value> </property> 啟動:sbin/mr-jobhistory-daemon.sh start historyserver 【日誌聚合功能】 1、修改yarn-site.xml 指定開啟聚合功能 指定日誌存放在HDFS上的時間期限,一般建議3-7天左右,存放在HDFS的/tmp/使用者之下 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>106800</value> </property> 2、重啟yarn程序
不配置,那麼yarn上的history點選無法顯示
1.配置mapred-site.xml檔案
2.配置yarn-site.xml檔案(開啟日誌聚合)
3.重啟yarn
-
新增可執行許可權
-
關閉服務
-
開啟服務
-
還需要開始日誌服務
-
sbin/mr-jobhistory-daemon.sh start historyserver
-
重新跑一個任務,檢視日誌
如果還有問題,檢查下伺服器防火牆有沒有關閉
hdfs下tmp目錄的許可權問題
- 更改許可權
bin/hdfs dfs -chmod -R 777 /tmp
其他(更改yarn介面右上角的使用者名稱)
- 修改core-site.xml檔案
- 重啟服務,檢視