hadoop(單機)安裝配置
阿新 • • 發佈:2019-01-31
1.安裝JDK
yum -y install java-1.8.0-openjdk*
2.在相應目錄下安裝hadoop
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz
解壓並且配置HADOOPHOME
3.修改$HADOOPHOME/etc/hadoop/hadoop-env.sh
將JAVA_HOME改成對應的路徑這裡我使用yum下載的JDK所以這樣配置就可以了。
改成對應的java_home路徑
4. 修改hadoop中/etc/hadoop/core-site.xml檔案。在configuration標籤中新增如下程式碼:
(1)新增指定的預設檔案系統名稱的配置
<property>
<name>fs.defaultFS</name>
<value>hdfs://本地iP:9000</value>
</property>
(2)新增指定中間資料檔案存放目錄的配置
<property>
<name>hadoop.tmp.dir</name>
<value>/home/a/tmp</value>
</property >
- 修改hadoop中etc/hadoop/hdfs-site.xml。將預設的副本數3改成1。因為我們現在用的是偽分散式。在標籤中新增如下程式碼:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
- 格式化檔案系統。執行hadoop中bin目錄下的hdfs namenode –foramt指令即可。
- 啟動。執行hadoop中的sbin目錄中的start-dfs.sh。
啟動。執行hadoop中的sbin目錄中的start-dfs.sh。如果不出意外,會要你輸入三次密碼。完成後輸入jps,看到如下程序,說明hdfs配置成功完成。
設定為無密碼登入
首先切換到普通使用者。然後執行ssh-keygen –t rsa(使用rsa加密,另外一種常用的是dsa)命令生成金鑰。cd ~/.ssh 執行後會在使用者目生成ssh目錄和id_rsa、id_rsa.pub個檔案。
將生成的公鑰加入到許可檔案中,即將公鑰複製到 .ssh、authorized_keys中。這樣登入就不需要再輸入密碼了。執行的命令。 cp id_rsa.pub authorized_keys。