1.叢集搭建

參考：https://blog.csdn.net/qq_38038143/article/details/83050840

在已搭建的叢集中，修改配置檔案yarn-site.xml：
與參考文章不同的原因為：執行運算命令時命令卡住即不能進一步執行。

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master:8099</value>
        </property>

        <property>
                <name>yarn.resourcemanager.address</name>
                <value>master:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master:8031</value>
        </property>
</configuration>

 

配置完成後，開啟HDFS：

start-all.sh

本次實驗使用了1臺master，4臺slave節點。

2.目錄建立

執行命令：
建立HDFS的輸入、輸出目錄：

hdfs dfs -mkdir -p /data/wordcount
hdfs dfs -mkdir -p /output

檢視：

3.驗證

準備例子檔案，將本地檔案上傳到HDFS：

hdfs dfs -put etc/hadoop/core-site.xml /data/wordcount/

運算：
計算例子檔案的單詞數：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /data/wordcount /output/wordcount
 

結果檢視：