1. 程式人生 > >使用Docker執行hadoop

使用Docker執行hadoop

獲取docker映象

sudo docker pull sequenceiq/hadoop-docker:2.7.0

執行docker容器

sudo docker run -it --name hadoop --rm sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash

執行作業

在上一步命令執行後,我們就進入命令互動模式

# 先看一下是否測試資料已經存在
$ bin/hdfs dfs -ls /user/root/input

# 執行作業
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
# 檢視作業執行結果 $ bin/hdfs dfs -cat output/* # 清空執行結果 $ bin/hdfs dfs -rm output/* $ bin/hdfs dfs -rmdir output/