VMware的Ubuntu下安裝hadoop
一共四大步:
一.在Ubuntu下建立hadoop組合hadoop使用者,並用hadoop使用者登入系統
增加hadoop使用者組,同時在該組裡增加hadoop使用者,後續在涉及到hadoop操作時,我們使用該使用者。
1、建立hadoop使用者組
2、建立hadoop使用者
sudo adduser -ingroup hadoop hadoop
回車後會提示輸入新的UNIX密碼,這是新建使用者hadoop的密碼
最後確認資訊是否正確,如果沒問題,輸入 Y,回車即可。
3、為hadoop使用者新增許可權
輸入:sudo gedit /etc/sudoers
回車,開啟sudoers檔案
給hadoop使用者賦予和root使用者同樣的許可權
4.用建立的hadoop使用者登入Ubuntu系統
二.安裝ssh
sudo apt-get install openssh-server
安裝完成後,啟動ssh服務
sudo /etc/init.d/ssh start
檢視服務是否正確啟動:ps -e | grep ssh
注意(有的Ubuntu系統下檢視服務的資訊如下圖)
設定免密碼登入,生成私鑰和公鑰
ssh-keygen -t rsa -P ""
此時會在/home/hadoop/.ssh下生成兩個檔案:id_rsa和id_rsa.pub,前者為私鑰,後者為公鑰。
下面我們將公鑰追加到authorized_keys中,它使用者儲存所有允許以當前使用者身份登入到ssh客戶端使用者的公鑰內容。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
登入ssh
ssh localhost
退出
exit
三.安裝java環境
sudo apt-get install openjdk-7-jdk
檢視安裝結果,輸入命令:java -version,結果如下表示安裝成功。
四.安裝hadoop2.6.0
1、官網下載http://mirror.bit.edu.cn/apache/hadoop/common/
注意:下載的是hadoop-2.6.0.tar.gz檢視字尾小心下錯
2、安裝
1. 把hadoop解壓到/usr/local下: sudo tar -zxvf hadoop-2.6.0.tar.gz
sudo mv hadoop-2.6.0 /usr/local/hadoop
sudo chmod -R 775 /usr/local/hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop
2.配置~/.bashrc
配置該檔案前需要知道Java的安裝路徑,用來設定JAVA_HOME環境變數,可以使用下面命令列檢視安裝路徑
update-alternatives - -config java
完整的路徑為 /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java
我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64
3.配置.bashrc檔案
sudo gedit ~/.bashrc
該命令會開啟該檔案的編輯視窗,在檔案末尾追加下面內容,然後儲存,關閉編輯視窗。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
最終結果如下圖:執行下面命,使新增的環境變數生效:
source ~/.bashrc
4.編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh
執行下面命令,開啟該檔案的編輯視窗
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到JAVA_HOME變數,修改此變數如下
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
修改後的hadoop-env.sh檔案如下所示:
五.WortCount測試
單機模式安裝完成,下面通過執行hadoop自帶例項WordCount驗證是否安裝成功
/usr/local/hadoop路徑下建立input資料夾
mkdir input
拷貝README.txt到input
cp README.txt input
執行WordCount
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output
執行結果:
執行 cat output/*,檢視字元統計結果