[Hadoop]Hadoop的安裝與配置
作業系統:ubuntu 14.04 LTS
Java 版本:openjdk-1.7.0_91
Hadoop 版本:hadoop-1.2.1 (下載地址:hadoop-1.2.1)
安裝
下載 hadoop-1.2.1.tar.gz 後,將其移動到 /opt 目錄下:
sudo mv hadoop-1.2.1.tar.gz /opt
解壓:
sudo tar -zxvf hadoop-1.2.1.tar.gz
配置
進入 hadoop-1.2.1/conf 目錄,執行以下配置:
1. 修改 hadoop-env.sh 檔案,配置 JAVA_HOME 為本機所安裝的 jdk 路徑:
2. 修改 core-site.xml 檔案,進行如下配置:
其中 fs.default.name 的 value 中 //rendp:9000 為 主機名:埠號。
3. 修改 hdfs-site.xml 檔案,進行如下配置:
4. 修改 mapred-site.xml 檔案,進行如下配置:
其中 value 值 rendp:9001 為 主機名:埠號。
以上的檔案配置完成之後,修改 /etc/profile 檔案,增加 HADOOP_HOME,如下圖:
修改完 /etc/profile 檔案後,執行以下命令:
source /etc/profile
接下來,進入 hadoop-1.2.1/bin 目錄,進行 hadoop 的 namenode 的格式化,執行如下命令:
hadoop namenode -format
注意,由於之前配置 hadoop 檔案系統為 /hadoop 目錄,因此可能由於許可權問題導致格式化失敗,此時通過手動建立 /hadoop 目錄並用 chmod 命令對 /hadoop 目錄進行修改即可。
sudo mkdir /hadoop
sudo chmod -R a+w /hadoop
接下來,可以執行 start-all.sh 啟動 hadoop,注意,此時可能由於許可權問題導致啟動失敗,使用 chmod 命令修改 hadoop-1.2.1 目錄的許可權即可正確啟動。
以上步驟完成了 hadoop 的安裝和配置,執行 jps 命令可以檢視到如下資訊,說明 hadoop 已可正確執行。