1. 程式人生 > >hadoop詳細安裝及配置

hadoop詳細安裝及配置

一、下載

二、解壓

注:使用管理員許可權解壓

三、配置環境變數

新增HADOOP_HOME配置:自己安裝hadoop路徑,我的是D:\hadoop-3.0.3

在Path中新增如下:自己安裝hadoop路徑/bin,如:D:/hadoop-3.0.3/bin

四、hadoop需要jdk支援,jdk路徑不能有空格,如有空格,可以這樣,如:”D:\Program Files"\Java\jdk1.8.0_25

五、hadoop路徑下建立data用於資料儲存,再在data下建立datanode目錄和namenode目錄

六、hadoop配置

四個hadoop路徑/etc/hadoop/core-site.xml,etc/hadoop/mapred-site.xml,etc/hadoop/hdfs-site.xml,etc/hadoop/yarn-site.xml

1.core-site.xml

  • <configuration>  
  •     <property>  
  •        <name>fs.default.name</name>  
  •        <value>hdfs://localhost:9000</value>  
  •    </property>  
  • </configuration>

2.mapred-site.xml

  • <configuration>  
  •     <property>  
  •        <name>mapreduce.framework.name</name>  
  •        <value>yarn</value>  
  •    </property>  
  • </configuration> 

3.hdfs-site.xm

  1. <configuration>  
  2.     <!-- 這個引數設定為1,因為是單機版hadoop -->  
  3.     <property>  
  4.         <name>dfs.replication</name>  
  5.         <value>1</value>  
  6.     </property>  
  7.     <property>   
  8.      <name>dfs.permissions</name>   
  9.      <value>false</value>   
  10.   </property>  
  11.    <property>  
  12.        <name>dfs.namenode.name.dir</name>  
  13.        <value>/D:/hadoop-3.0.3/data/namenode</value>  
  14.    </property>  
  15.    <property>  
  16.         <name>fs.checkpoint.dir</name>  
  17.         <value>/D:/hadoop-3.0.3/data/snn</value>  
  18.     </property>  
  19.     <property>  
  20.         <name>fs.checkpoint.edits.dir</name>  
  21.         <value>/D:/hadoop-3.0.3/data/snn</value>  
  22.     </property>  
  23.        <property>  
  24.        <name>dfs.datanode.data.dir</name>  
  25.        <value>/D:/hadoop-3.0.3/data/datanode</value>  
  26.    </property>  
  27. </configuration>  

4.yarn-site.xml

  • <configuration>  
  • <!-- Site specific YARN configuration properties -->  
  •     <property>  
  •         <name>yarn.nodemanager.aux-services</name>  
  •         <value>mapreduce_shuffle</value>  
  •    </property>  
  •    <property>  
  •         <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>    
  •         <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  •    </property>  
  • </configuration>

七、修改D:/hadoop-3.0.3/etc/hadoop/hadoop-env.cmd配置,找到"set JAVA_HOME=%JAVA_HOME%"替換為"set JAVA_HOME="D:\Program Files"\Java\jdk1.8.0_25"

找到對應的版本下的bin替換hadoop中的bin

配置完成

九、啟動服務

1.cmd中,D:\hadoop-3.0.3\bin> hdfs namenode -format

執行後,data下的namenode和datanode下會有current等檔案,我當時安裝的是hadoop3.1.1,用的winutils中的hadoop3.0.0,datanode總是沒有啟動沒有資料,換成hadoop3.0.3,使用wintuils的hadoop3.0.0後,就可以了。

2.D:\hadoop-3.0.3\sbin啟動start-all.cmd服務,會看到

  • Hadoop Namenode
  • Hadoop datanode
  • YARN Resourc Manager
  • YARN Node Manager

十、HDFS應用

a.進入檔案系統

b.建立目錄

c.上傳成功

注:在之前的版本中檔案管理的埠是50070,在3.0.0中替換為了9870埠

d.使用hadoop命令進行檔案操作

          mkdir命令建立目錄:hadoop fs -mkdir hdfs://ip:9000/user

            put命令上傳檔案:hadoop fs -put D:/a.txt hdfs://ip:9000/user/

            ls命令檢視指定目錄檔案列表:hadoop fs -ls hdfs://ip:9000/user/