1. 程式人生 > >VMware的Ubuntu下安裝hadoop

VMware的Ubuntu下安裝hadoop

一共四大步:

一.在Ubuntu下建立hadoop組合hadoop使用者,並用hadoop使用者登入系統

增加hadoop使用者組,同時在該組裡增加hadoop使用者後續在涉及到hadoop操作時,我們使用使用者

1、建立hadoop使用者組


2、建立hadoop使用者

sudo adduser -ingroup hadoop hadoop

回車後會提示輸入新的UNIX密碼,這是新建使用者hadoop的密碼

最後確認資訊是否正確,如果沒問題,輸入 Y,回車即可。



3、為hadoop使用者新增許可權

輸入:sudo gedit /etc/sudoers

回車,開啟sudoers檔案

給hadoop使用者賦予和root使用者同樣的許可權



4.用建立的hadoop使用者登入Ubuntu系統

二.安裝ssh

sudo apt-get install openssh-server

安裝完成後,啟動ssh服務

sudo /etc/init.d/ssh start

檢視服務是否正確啟動:ps -e | grep ssh

注意(有的Ubuntu系統下檢視服務的資訊如下圖)

設定免密碼登入,生成私鑰和公鑰

ssh-keygen -t rsa -P ""

此時會在/home/hadoop/.ssh下生成兩個檔案:id_rsa和id_rsa.pub,前者為私鑰,後者為公鑰。

下面我們將公鑰追加到authorized_keys中,它使用者儲存所有允許以當前使用者身份登入到ssh客戶端使用者的公鑰內容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

登入ssh

ssh localhost

退出

exit


三.安裝java環境

sudo apt-get install openjdk-7-jdk

檢視安裝結果,輸入命令:java -version,結果如下表示安裝成功。

四.安裝hadoop2.6.0

1、官網下載http://mirror.bit.edu.cn/apache/hadoop/common/

 注意:下載的是hadoop-2.6.0.tar.gz檢視字尾小心下錯

2、安裝

1. 把hadoop解壓到/usr/local下:

          sudo tar -zxvf hadoop-2.6.0.tar.gz 

           sudo mv hadoop-2.6.0 /usr/local/hadoop 

           sudo chmod -R 775 /usr/local/hadoop 

           sudo chown -R hadoop:hadoop /usr/local/hadoop

2.配置~/.bashrc

配置該檔案前需要知道Java的安裝路徑,用來設定JAVA_HOME環境變數,可以使用下面命令列檢視安裝路徑

        update-alternatives - -config java

           完整的路徑為      /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

           我們只取前面的部分     /usr/lib/jvm/java-7-openjdk-amd64

3.配置.bashrc檔案

            sudo gedit ~/.bashrc

            該命令會開啟該檔案的編輯視窗,在檔案末尾追加下面內容,然後儲存,關閉編輯視窗。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

            最終結果如下圖:



          執行下面命,使新增的環境變數生效:

           source ~/.bashrc

4.編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh

          執行下面命令開啟該檔案的編輯視窗

          sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME變數,修改此變數如下

        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64    

        修改後的hadoop-env.sh檔案如下所示


五.WortCount測試

          單機模式安裝完成,下面通過執行hadoop自帶例項WordCount驗證是否安裝成功

           /usr/local/hadoop路徑下建立input資料夾    

              mkdir input

          拷貝README.txt到input    

              cp README.txt input

          執行WordCount

               bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

           執行結果:

             執行 cat output/*,檢視字元統計結果