前置條件

1.jdk映象
2.hadoop安裝包

解壓安裝包

tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C /usr/local
cd /usr/local
mv hadoop-2.6.4 hadoop

修改配置檔案:

cd hadoop/etc/hadoop

vim hadoop-env.sh

修改JAVA_HOME為配置好的java目錄。 這裡主要是因為需要指令碼都是ssh到其他slaves上啟動他們的程序，ssh + command的方式不是login shell。所以不會載入/etc/profile。如果無法讀取到JAVA_HOME,則啟動不成功，其實在容器中，如果都是自行啟動自己的程序，這個變數不配置應該是沒問題的。

2.修改core-site.xml

vim core-site.xml

修改成如下內容:

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoopMaster:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoopData</value>
</property>
 

</configuration>

fs.defaultFS指定了hdfs的namenode地址
hadoop.tmp.dir指定了hdfs的工作目錄

3.修改hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

dfs.replication指定了資料的副本數目 這個檔案還可以指定namenode工作目錄和datanode工作目錄,還可以指定secondaryNamenode的地址
(secondaryNamenode在高版本中基本不會被使用了，主要是用來備份namenode資料的,當namenode掛了之後可以在secondNamenode中找到資料，恢復回來,secondaryNamenode並不能代替namenode的作用，在HA中，用兩個namenode的方式，secondaryNamenode基本沒有使用的必要了)

4.修改mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

mapreduce.framework.name指定了mapreduce使用的提交方式
hadoop的mapreduce方式其實相對來說已經用的不多了，後面我們採用spark來處理資料，而不使用hadoop mapreduce。所以其實這裡配不配關係不大,因為我們不會啟動yarn.

5.修改yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

yarn.resourcemanager.hostname指定resourcemanager地址 yarn.nodemanager.aux-services指定了map和reduce之間使用shuffle的方式來協助。
同樣的，這個其實不配也可以。因為我們不啟動yarn

6.修改slaves 這個檔案用來指明工作節點。當呼叫start-dfs.sh的時候，會讀取slaves檔案，並ssh過去啟動上面的datanode。 如果需要的話。可以配置。 但是在我的想法裡，容器啟動自動啟動自己的namenode或datanode，所以可以不需要slaves檔案，也不需要呼叫start-dfs.sh

格式化namenode

啟動namenode之前一定要格式化namenode,生成對應的clusterId和blockpoolID。

hdfs namenode -format

啟動namenode/datanode

可以呼叫start-dfs.sh指令碼啟動整個叢集，也可以一個一個自己啟動。

hadoop-daemon.sh start namenode
或者
hadoop-daemon.sh start datanode

可以採用jps檢視是否啟動成功。 列印的日誌位於$HADOOP_HOME/logs。可以檢視對應的日誌。

最終commit得到映象之後
對於namenode節點，docke run增加hdfs namenode -format和hadoop-daemon.sh start namenode，並指定固定ip。

對於datanode節點，docker run增加hadoop-daemon.sh start datanode並echo "hadoopip hadoopMaster" >> /etc/hosts。