1. 程式人生 > >大資料開發之Hadoop篇----配置yarn和mapreduce

大資料開發之Hadoop篇----配置yarn和mapreduce

上一篇部落格中我們已經完成了hdfs的部署,現在我們開始部署yarn了。

我們先使用jps命令來檢視下現在與java相關的程序:

這裡NameNode以後簡稱為NN,DataNode簡稱為DN,而SecondaryNameNodel簡稱為SNN。

我們先切換到hadoop目錄下的etc資料夾下的hadoop資料夾,在這裡我們可以看到有這些檔案

我們先來配置yarn-site.xml這個檔案,我們需要配置的引數如下:

<configuration>     <property>         <name>yarn.nodemanager.aux-services</name>         <value>mapreduce_shuffle</value>     </property> </configuration>

儲存退出即可

接著我們來配置mapred-site.xml這個配置檔案,但是細心的小夥伴會發現在etc/hadoop下是沒有這個檔案的,只有mapred-site.xml.temmapred-site.xml.template這個檔案的,說明一下這個是mapred-site.xml的一個副本,我們要做的就是將其cp一份為mapred-stie.xml,然後在這個cp的副本中修改配置引數可以了

要配置的引數為:

<configuration>     <property>         <name>mapreduce.framework.name</name>         <value>yarn</value>     </property> </configuration>

同樣是儲存退出就好了

最後我們切換到hadoop下的sbin目錄,使用start-yarn.sh這個shell指令碼就可以啟動yarn了

然後我們使用jps命令,我們就會發現程序多了兩個,分別是NodeManager和ResourceManager。

而yarn這個程序的埠號是8088,我們可以通過這個埠號來檢視yarn的web介面來了解yarn上面的app的情況