1. 程式人生 > >初識hadoop hdfs--(1)安裝

初識hadoop hdfs--(1)安裝

我是在ubuntu14.04上安裝的最簡單的單點的hadoop,按照官方文件安裝的。

首先要安裝幾個必備的軟體

1. 安裝jdk. 從oracle官網下載jdk,jdk-8u77-linux-x64.tar.gz, 然後解壓縮

tar -xzvf jdk-8u77-linux-x64.tar.gz
配置環境變數:在/etc/profile最後追加
export JAVA_HOME=/usr/java/jdk1.8.0_77
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib 
執行
source /etc/profile
使之生效。

2. 安裝ssh和rsync

apt-get install ssh
apt-get install rsync

3. 下載hadoop安裝包hadoop-2.7.4.tar.gz

解壓縮

tar -xzvf hadoop-2.7.4.tar.gz

4. 編輯hadoop安裝目錄下的etc/hadoop/hadoop-env.sh,把javahome配成剛剛安裝的jdk路徑

# set to the root of your Java installation
  export JAVA_HOME=/usr/java/jdk1.8.0_77

這時候執行bin/hadoop會列印使用引數的一些基本資訊


5. 然後建立資料夾input,將conf下的檔案拷貝進去,匹配正則後輸出到outpu目錄

  $ mkdir input
  $ cp etc/hadoop/*.xml input
  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar grep input output 'dfs[a-z.]+'
  $ cat output/*

6. 編輯etc/hadoop/core-site.xml:
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

7. 編輯etc/hadoop/hdfs-site.xml:
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

8. 執行ssh localhost確定本地ssh是否需要輸入密碼,如果需要輸入密碼,那麼要改成不輸入密碼
  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

9. 格式化檔案系統
 $ bin/hdfs namenode -format

10. 開啟例項
 $ sbin/start-dfs.sh

然後就可以通過瀏覽器來檢視節點資訊了

http://localhost:50070/