Hadoop本地執行模式下執行官方案例(Grep和WordCount)
阿新 • • 發佈:2018-11-15
官方Grep案例
#1,在hadoop-2.7.2檔案下建立input資料夾
[[email protected] hadoop-2.7.2]$ mkdir input
[[email protected] hadoop-2.7.2]$ ll
總用量 56
drwxr-xr-x. 2 isea isea 4096 5月 22 2017 bin
drwxr-xr-x. 3 isea isea 4096 5月 22 2017 etc
drwxr-xr-x. 2 isea isea 4096 5月 22 2017 include
drwxrwxr-x. 2 isea isea 4096 11月 14 19:24 input
drwxr-xr-x. 3 isea isea 4096 5月 22 2017 lib
drwxr-xr-x. 2 isea isea 4096 5月 22 2017 libexec
-rw-r--r--. 1 isea isea 15429 5月 22 2017 LICENSE.txt
-rw-r--r--. 1 isea isea 101 5月 22 2017 NOTICE.txt
-rw-r--r--. 1 isea isea 1366 5月 22 2017 README.txt
drwxr-xr-x. 2 isea isea 4096 5月 22 2017 sbin
drwxr-xr-x. 4 isea isea 4096 5月 22 2017 share
#2,將hadoop的配置檔案cp到input下,作為輸入檔案
[ [email protected] hadoop-2.7.2]$ cp etc/hadoop/*.xml input/
#3,執行share目錄下的mapreduce程式
[[email protected] hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
#4,檢查是否多了一個目錄output,並檢視該目錄下的內容
[[email protected] hadoop-2.7.2]$ ll
總用量 60
drwxr-xr-x. 2 isea isea 4096 5月 22 2017 bin
drwxr-xr-x. 3 isea isea 4096 5月 22 2017 etc
drwxr-xr-x. 2 isea isea 4096 5月 22 2017 include
drwxrwxr-x. 2 isea isea 4096 11月 14 19:24 input
drwxr-xr-x. 3 isea isea 4096 5月 22 2017 lib
drwxr-xr-x. 2 isea isea 4096 5月 22 2017 libexec
-rw-r--r--. 1 isea isea 15429 5月 22 2017 LICENSE.txt
-rw-r--r--. 1 isea isea 101 5月 22 2017 NOTICE.txt
drwxrwxr-x. 2 isea isea 4096 11月 14 19:28 output
-rw-r--r--. 1 isea isea 1366 5月 22 2017 README.txt
drwxr-xr-x. 2 isea isea 4096 5月 22 2017 sbin
drwxr-xr-x. 4 isea isea 4096 5月 22 2017 share
[ [email protected] hadoop-2.7.2]$ cat output/
cat: output/: 是一個目錄
[[email protected] hadoop-2.7.2]$ cat output/*
1 dfsadmin
[[email protected] hadoop-2.7.2]$
官方WordCount案例
#1,在hadoop的目錄下建立一個wcinput,並建立wc.input 並寫入內容
[[email protected] hadoop-2.7.2]$ mkdir wcinput
[[email protected] hadoop-2.7.2]$ cd wcinput/
[[email protected] wcinput]$ vim wc.input
you know that i sea you
sea you
isea you
isea
i sea you
#2,回到hadoop目錄,執行countword程式
[[email protected] wcinput]$ cd ..
[[email protected] hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput/ wcoutput
*
*
*
#3,檢視結果
[[email protected] hadoop-2.7.2]$ cat wcoutput/part-r-00000
i 2
isea 2
know 1
sea 3
that 1
you 5
[[email protected] hadoop-2.7.2]$ cd wcoutput/
[[email protected] wcoutput]$ ll
總用量 4
-rw-r--r--. 1 isea isea 37 11月 14 19:38 part-r-00000
-rw-r--r--. 1 isea isea 0 11月 14 19:38 _SUCCESS