windows下安裝hadoop
環境
windows7 64位
JDK環境已經配置好(測試的是jdk1.8.0_191)
下載Hadoop,地址 http://archive.apache.org/dist/hadoop/core/ 我選擇的版本是hadoop-2.7.6,進入如目錄後下載hadoop-2.7.6.tar.gz文件
下載完成後解壓文件,我解壓到D:\hadoop-2.7.6
配置環境變量
1.HADOOP_HOME的值為D:\hadoop-2.7.6
2.接著編輯環境變量path,加入%HADOOP_HOME%\bin;
修改hadoop配置文件
在創建“D:\hadoop-2.7.6”下創建workplace文件夾,然後在workplace裏面創建data,name,tmp文件夾
1.編輯“D:\hadoop-2.7.6\etc\hadoop”下的core-site.xml文件
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/D:/hadoop-2.5.6/workplace/tmp</value> </property> <property> <name>dfs.name.dir</name> <value>/D:/hadoop-2.5.6/workplace/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
2.編輯“D:\hadoop-2.7.6\etc\hadoop目錄下的mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.job.tracker</name> <value>hdfs://localhost:9001</value> </property> </configuration>
3.編輯“D:\hadoop-2.7.6\etc\hadoop”目錄下的hdfs-site.xml文件
<configuration> <!-- 這個參數設置為1,因為是單機版hadoop --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.data.dir</name> <value>/D:/hadoop-2.5.6/workplace/data</value> </property> </configuration>
4.編輯“D:\hadoop-2.7.6\etc\hadoop”目錄下的yarn-site.xml文件
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
5.編輯“D:\hadoop-2.7.6\etc\hadoop”目錄下的hadoop-env.cmd文件,將JAVA_HOME用 @rem註釋掉,編輯為JAVA_HOME的路徑(JDK安裝在C:\Program Files\Java\jdk1.8.0_191),然後保存;
@rem The java implementation to use. Required.
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_191
替換文件
下載到的hadooponwindows-master.zip,(鏈接:https://pan.baidu.com/s/1AZEDLb6XijXHQrbZ4nzXpQ 密碼:jvf8)解壓,將bin目錄(包含以下.dll和.exe文件)文件替換原來hadoop目錄下的bin目錄
運行測試
1.運行cmd窗口,執行“hdfs namenode -format”; (如果失敗,有可能是環境變量沒有起作用,重啟一下就可以了)
2.運行cmd窗口,切換到hadoop的sbin目錄,執行“start-all.cmd”,它將會啟動以下進程。
輸入jps,可以查看運行的所有節點
1.創建輸入目錄
D:\hadoop-2.7.6\sbin>hadoop fs -mkdir hdfs://localhost:9000/user/
D:\hadoop-2.7.6\sbin>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
2.上傳數據到目錄,在D盤下創建file1.txt和file2.txt,在文件中隨意輸入內容
D:\hadoop-2.7.6\sbin>hadoop fs -put D:\file1.txt hdfs://localhost:9000/user/wcin
put
D:\hadoop-2.7.6\sbin>hadoop fs -put D:\file2.txt hdfs://localhost:9000/user/wcin
put
3.查看文件
D:\hadoop-2.7.6\sbin>hadoop fs -ls hdfs://localhost:9000/user/wcinput
hadoop自帶的web控制臺GUI
1.資源管理GUI:http://localhost:8088/;
2.節點管理GUI:http://localhost:50070/;
windows下安裝hadoop