hadoop單機安裝配置
阿新 • • 發佈:2019-02-17
1.安裝jdk
在java官網
yum 安裝
<!--告訴Hadoop以後MR執行在yarn上-->
<property>
<name>mapreduce.frameword.name</name>
<value>yarn</value>
</property>
hdfs-site.xml
<!--指定HDFS的儲存資料副本的數量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
core-site.xml
<configuration>
<!--指定HDFS的NameNode地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!--用來指定Hadoop用來執行時產生檔案的存放目錄-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.8.0/tmp</value>
</property>
</configuration>
hadoop-env.sh
修改javahome
# The java implementation to use.
export JAVA_HOME=/lib/jvm/jre-1.8.0
3.新增hadoop的環境變數
export JAVA_HOME=/lib/jvm/jre-1.8.0
export HADOOP_HOME=/opt/hadoop-2.8.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
環境變數直接在 /etc/profile 最下面新增上就好了,記得要把路徑改為你自己的路徑哦,修改完路徑要執行 source /etc/profile 來使環境變數生效
4.初始化HDFS
hadoop namenode -format(過時)
hdfs namenode -format(現在) 格式化一次即可。
5.啟動hadoop
cd sbin/
./start-all.sh
jps 可以檢視正在執行的java 程序
6.為了免密碼登入要配置ssh
#生成ssh免登陸金鑰
#進入到我的home目錄
cd ~/.ssh
ssh-keygen -t rsa (四個回車)
執行完這個命令後,會生成兩個檔案id_rsa(私鑰)、id_rsa.pub(公鑰)
將公鑰拷貝到要免登陸的機器上
ssh-copy-id localhost
7.datanode 未啟動
多次格式化以後,會導致namenode的uuid和datanode的uuid不一致,所以無法啟動datanode
推薦做法。該問題可以再log日誌下看到報錯
1.關閉服務
2.刪除tmp資料夾
3.格式化
4.重啟服務
檢視HDFS的網址:localhost:50070
- yum install java-1.7.0-openjdk* -y