1. 程式人生 > >hadoop單機安裝配置

hadoop單機安裝配置

1.安裝jdk 在java官網 yum 安裝
  1. yum install java-1.7.0-openjdk* -y  
2.安裝hadoop 修改ect的配置檔案 yarn-site.xml <!--告訴NodeManager獲取資料的方式是shuffle--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!--指定Yarn的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> mapred-site.xml
<!--告訴Hadoop以後MR執行在yarn上--> <property> <name>mapreduce.frameword.name</name> <value>yarn</value> </property> hdfs-site.xml <!--指定HDFS的儲存資料副本的數量--> <property> <name>dfs.replication</name> <value>1</value> </property> core-site.xml
<configuration> <!--指定HDFS的NameNode地址--> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <!--用來指定Hadoop用來執行時產生檔案的存放目錄--> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop-2.8.0/tmp</value> </property> </configuration> hadoop-env.sh
修改javahome # The java implementation to use. export JAVA_HOME=/lib/jvm/jre-1.8.0 3.新增hadoop的環境變數 export JAVA_HOME=/lib/jvm/jre-1.8.0 export HADOOP_HOME=/opt/hadoop-2.8.0 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin 環境變數直接在 /etc/profile 最下面新增上就好了,記得要把路徑改為你自己的路徑哦,修改完路徑要執行 source /etc/profile 來使環境變數生效 4.初始化HDFS hadoop namenode -format(過時) hdfs namenode -format(現在) 格式化一次即可。 5.啟動hadoop cd sbin/ ./start-all.sh jps 可以檢視正在執行的java 程序 6.為了免密碼登入要配置ssh #生成ssh免登陸金鑰 #進入到我的home目錄 cd ~/.ssh ssh-keygen -t rsa (四個回車) 執行完這個命令後,會生成兩個檔案id_rsa(私鑰)、id_rsa.pub(公鑰) 將公鑰拷貝到要免登陸的機器上 ssh-copy-id localhost 7.datanode 未啟動 多次格式化以後,會導致namenode的uuid和datanode的uuid不一致,所以無法啟動datanode 推薦做法。該問題可以再log日誌下看到報錯 1.關閉服務 2.刪除tmp資料夾 3.格式化 4.重啟服務 檢視HDFS的網址:localhost:50070