第四章 Hadoop本地執行模式
阿新 • • 發佈:2021-08-31
一、Hadoop官網
Hadoop官方網站:http://hadoop.apache.org/
二、Hadoop執行模式
Hadoop執行模式包括:本地模式、偽分散式模式以及完全分散式模式。
#1.本地模式:單機執行,只是用來演示一下官方案例。生產環境不用。
#2.偽分散式模式:也是單機執行,但是具備Hadoop叢集的所有功能,一臺伺服器模擬一個分散式的環境。個別缺錢的公司用來測試,生產環境不用。
#3.完全分散式模式:多臺伺服器組成分散式環境,生產環境使用。
三、Hadoop本地執行模式(官方WordCount)
#1.建立在hadoop-3.3.1檔案下面建立一個wcinput資料夾 [atguigu@hadoop102 hadoop-3.3.1]$ mkdir wcinput #2.在wcinput檔案下建立一個word.txt檔案 [atguigu@hadoop102 hadoop-3.3.1]$ cd wcinput #3.編輯word.txt檔案 [atguigu@hadoop102 wcinput]$ vim word.txt hadoop yarn hadoop mapreduce atguigu atguigu #4.回到Hadoop目錄/opt/module/hadoop-3.3.1,執行程式 [atguigu@hadoop102 hadoop-3.3.1]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount wcinput wcoutput #5.檢視結果 [atguigu@hadoop102 hadoop-3.3.1]$ cat wcoutput/part-r-00000 看到如下結果: atguigu 2 hadoop 2 mapreduce 1 yarn 1