1. 程式人生 > >hadoop(單機)安裝配置

hadoop(單機)安裝配置

1.安裝JDK
yum -y install java-1.8.0-openjdk*
2.在相應目錄下安裝hadoop
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz
解壓並且配置HADOOPHOME
3.修改$HADOOPHOME/etc/hadoop/hadoop-env.sh
將JAVA_HOME改成對應的路徑這裡我使用yum下載的JDK所以這樣配置就可以了。
這裡寫圖片描述

改成對應的java_home路徑
4. 修改hadoop中/etc/hadoop/core-site.xml檔案。在configuration標籤中新增如下程式碼:
(1)新增指定的預設檔案系統名稱的配置

        <property>
           <name>fs.defaultFS</name>
           <value>hdfs://本地iP:9000</value>
        </property>

(2)新增指定中間資料檔案存放目錄的配置

     <property>
           <name>hadoop.tmp.dir</name>
           <value>/home/a/tmp</value>
    </property
>
  1. 修改hadoop中etc/hadoop/hdfs-site.xml。將預設的副本數3改成1。因為我們現在用的是偽分散式。在標籤中新增如下程式碼:
        <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
  1. 格式化檔案系統。執行hadoop中bin目錄下的hdfs namenode –foramt指令即可。
  2. 啟動。執行hadoop中的sbin目錄中的start-dfs.sh。
  3. 啟動。執行hadoop中的sbin目錄中的start-dfs.sh。如果不出意外,會要你輸入三次密碼。完成後輸入jps,看到如下程序,說明hdfs配置成功完成。

  4. 設定為無密碼登入
    首先切換到普通使用者。然後執行ssh-keygen –t rsa(使用rsa加密,另外一種常用的是dsa)命令生成金鑰。cd ~/.ssh 執行後會在使用者目生成ssh目錄和id_rsa、id_rsa.pub個檔案。

將生成的公鑰加入到許可檔案中,即將公鑰複製到 .ssh、authorized_keys中。這樣登入就不需要再輸入密碼了。執行的命令。 cp id_rsa.pub authorized_keys。