大資料開發之Hadoop篇----配置yarn和mapreduce
上一篇部落格中我們已經完成了hdfs的部署,現在我們開始部署yarn了。
我們先使用jps命令來檢視下現在與java相關的程序:
這裡NameNode以後簡稱為NN,DataNode簡稱為DN,而SecondaryNameNodel簡稱為SNN。
我們先切換到hadoop目錄下的etc資料夾下的hadoop資料夾,在這裡我們可以看到有這些檔案
我們先來配置yarn-site.xml這個檔案,我們需要配置的引數如下:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
儲存退出即可
接著我們來配置mapred-site.xml這個配置檔案,但是細心的小夥伴會發現在etc/hadoop下是沒有這個檔案的,只有mapred-site.xml.temmapred-site.xml.template這個檔案的,說明一下這個是mapred-site.xml的一個副本,我們要做的就是將其cp一份為mapred-stie.xml,然後在這個cp的副本中修改配置引數可以了
要配置的引數為:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
同樣是儲存退出就好了
最後我們切換到hadoop下的sbin目錄,使用start-yarn.sh這個shell指令碼就可以啟動yarn了
然後我們使用jps命令,我們就會發現程序多了兩個,分別是NodeManager和ResourceManager。
而yarn這個程序的埠號是8088,我們可以通過這個埠號來檢視yarn的web介面來了解yarn上面的app的情況