Hadoop完整搭建過程(一):本地模式
阿新 • • 發佈:2020-08-22
1 本地模式
本地模式是最簡單的模式,所有模組都執行在一個JVM
程序中,使用本地檔案系統而不是HDFS
。
本地模式主要是用於本地開發過程中的執行除錯用,下載後的Hadoop
不需要設定預設就是本地模式。
2 準備工作
筆者喜歡把JDK
放在/usr/local
下,執行前請確保設定了JAVA_HOME
,注意是在etc/hadoop/hadoop-env.sh
中設定:
tar -zxvf openjdk-11+28_linux-x64_bin.tar.gz sudo mv openjdk-11+28_linux-x64_bin /usr/local/java sudo vim HADOOP/etc/hadoop/hadoop-env.sh # HADOOP為Hadoop安裝目錄 # 輸入 export JAVA_HOME=/usr/local/java
3 使用
官網關於該模式沒有太多的描述,只有一個使用預設配置檔案作為輸入,然後匹配正則表示式作為輸出的簡單例子:
# HADOOP表示Hadoop安裝目錄
mkdir input
cp HADOOP/etc/hadoop/*.xml input
HADOOP/bin/hadoop jar HADOOP/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar grep input output 'dfs[a-z.]+'
cat output/*
從下圖的id
可以看出是以本地模式工作的:
4 輸出
輸出資料夾output
有兩個檔案:
_SUCCESS
part-r-00000
:輸出結果檔案,詞數統計
part-r-00000
結果如上圖所示。
實際上本地模式不需要特別的處理,因為預設就是本地模式。