1. 程式人生 > 其它 >第四章 Hadoop本地執行模式

第四章 Hadoop本地執行模式

一、Hadoop官網

Hadoop官方網站:http://hadoop.apache.org/

二、Hadoop執行模式

Hadoop執行模式包括:本地模式、偽分散式模式以及完全分散式模式。

#1.本地模式:單機執行,只是用來演示一下官方案例。生產環境不用。
#2.偽分散式模式:也是單機執行,但是具備Hadoop叢集的所有功能,一臺伺服器模擬一個分散式的環境。個別缺錢的公司用來測試,生產環境不用。
#3.完全分散式模式:多臺伺服器組成分散式環境,生產環境使用。

三、Hadoop本地執行模式(官方WordCount)

#1.建立在hadoop-3.3.1檔案下面建立一個wcinput資料夾
[atguigu@hadoop102 hadoop-3.3.1]$ mkdir wcinput

#2.在wcinput檔案下建立一個word.txt檔案
[atguigu@hadoop102 hadoop-3.3.1]$ cd wcinput

#3.編輯word.txt檔案
[atguigu@hadoop102 wcinput]$ vim word.txt
hadoop yarn
hadoop mapreduce
atguigu
atguigu

#4.回到Hadoop目錄/opt/module/hadoop-3.3.1,執行程式
[atguigu@hadoop102 hadoop-3.3.1]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount wcinput wcoutput

#5.檢視結果
[atguigu@hadoop102 hadoop-3.3.1]$ cat wcoutput/part-r-00000
看到如下結果:
atguigu 2
hadoop  2
mapreduce       1
yarn    1