Windows下Hadoop配置和namenode搭建
阿新 • • 發佈:2020-06-29
1.壓縮包下載
這裡我是從Apache官網下載的 hadoop 壓縮包:hadoop2.7.5 (下載地址:https://hadoop.apache.org/releases.html)
直接下載壓縮包解壓放到你的硬碟中即可(注意:不要放到有空格和中文的目錄下)
參考上圖即可。
2.配置Hadoop
(1)在我的電腦中配置 Hadoop 的環境變數:
在系統變數中配置HADOOP_HOME
在 Path 中配置下 bin 的位置,在末尾新建一行,加上下面這行:
%HADOOP_HOME%\bin
(2)在 hadoop 的hadoop-env.cmd 檔案中配置下本地 JDK 位置(參照下面即可)
(3)檢查下 Hadoop 是否成功配置好,在 Dos 視窗下 輸入 hadoop version 檢測即可
3.Hadoop 叢集配置
(1)修改 core-site.xml 檔案
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
(2)修改 mapred.site.xml 檔案(預設是 mapred.site.xml.template,直接改為 mapred.site.xml 即可)
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
(3)修改 hdfs-site.xml 檔案(對於需要的目錄需要自己提前建立好)
<configuration> <!-- 每個Block 的副本數--> <property> <name>dfs.replication</name> <value>1</value> </property> <!-- 配置下NameNode存放的位置--> <property> <name>dfs.namenode.name.dir</name> <value>file:///..../hadoop2.7.5/data/dfs/nn/name</value> </property> <!-- 配置下DataNode存放的位置--> <property> <name>dfs.datanode.data.dir</name> <value>file:///.../hadoop2.7.5/data/dfs/dn/data</value> </property> </configuration>
(4)配置 yarn-site.xml 檔案
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
4.開始執行 Hadoop
(1)格式化下 NameNode
hadoop namenode -format
沒有報錯說明成功執行
(2)啟動叢集服務
start-all.cmd
結果會自動彈出四個視窗:hadoop namenode、hadoop datanode、yarn nodemanager、yarn resourcemanager。
我們也可以使用 jps 來檢視下(顯示出來的說明已經啟動成功):
16640 Launcher 9072 NameNode 15412 RemoteMavenServer 20196 DataNode 17432 NodeManager 5384 ResourceManager 20572 Jps
(3)停止服務可以使用
stop-all.cmd