Hadoop單機模式

1.環境準備

0.安裝jdk(自行安裝)

1.配置hadoop環境變數

1. 下載hadoop的Linux的安裝包，並解壓
2. 複製hadoop的解壓後的路徑，並配置環境變數
3. 重新編譯環境變數（只對當前使用者有效）

配置環境變數

#HADOOP_HOME
export HADOOP_HOME=/opt/moudle/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

重新編譯環境變數

source /etc/profile

2.修改hadoop-env.sh

修改25行的JDK的環境，為後續的分散式做準備，當前單機模式不修改也不會有影響

vim /opt/moudle/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

設定vim顯示行號

:set number

 19 # The only required environment variable is JAVA_HOME.  All others are
 20 # optional.  When running a distributed configuration it is best to
 21 # set JAVA_HOME in this file, so that it is
 
 correctly defined on
 22 # remote nodes.
 23 
 24 # The java implementation to use.
 25 export JAVA_HOME=${JAVA_HOME}
 25 export JAVA_HOME=JDK的絕對路徑

2.執行官方提供的簡單案例

1.grep案例

匹配輸入資料夾下。符合規則的內容

1. 準備輸入資料夾

   1. 在/opt/moudle/hadoop-2.7.2資料夾下建立 input資料夾
   2. 複製/opt/moudle/hadoop-2.7.2/etc/hadoop 資料夾下的*.xml到 input資料夾下

   cp etc/hadoop/*.xml input/

2. 在hadoop的根目錄執行命令

   
   #'dfs[a-z.]+d'為匹配規則
   
   hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  grep input/ output 'dfs[a-z.]+d'

注意：output為輸出資料夾，一定不能存在，執行命令後可以參看 output資料夾下的執行結果

2.wordcount案例

統計字元出現次數

1. 準備輸入文夾

   在/opt/moudle/hadoop-2.7.2資料夾下建立wordcount資料夾，並在資料夾下建立wc.input檔案，內容如下：

   wc wc wc 
   12 32 34
   count count

   ​

2. 在hadoop的根目錄執行命令

   hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  wordcount wordcount/ wcoutput

執行結果

[daxiong@hadoop101 wcoutput]$ cat part-r-00000 
12  1
32  1
34  1
count   2
wc  3