1. 程式人生 > >HDFS環境搭建(單節點配置)

HDFS環境搭建(單節點配置)

空間 image site name pro url comm env block

【參考文章】:hadoop集群搭建(hdfs)

1. Hadoop下載

  官網下載地址:

  https://hadoop.apache.org/releases.html,進入官網根據自己需要下載具體的安裝包

  清華大學安裝包的鏡像文件下載地址:

  https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz

  解壓文件後如圖:

  技術分享圖片

2. 修改配置文件

2.1 etc/hadoop/core-site.xml

<configuration>
   <
property> <name>fs.defaultFS</name> <value>hdfs://node001:9000</value> <description>NameNode URL</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/work/hadoop/temp</
value> <description>hadoop的臨時本地文件目錄</description> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> <description>讀寫序列文件緩存大小</description> </property> </
configuration>

2.2 etc/hadoop/hdfs-site.xml

<configuration>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>/home/work/hadoop/name</value>
            <description>本地文件系統存儲著命令空間和操作日誌 </description>
    </property>
    <property>
             <name>dfs.datanode.data.dir</name>
             <value>/home/work/hadoop/data</value>
             <description>存儲blocks的本地路徑列表,用逗號隔開 </description>
    </property>
    <property>
             <name>dfs.replication</name>
             <value>1</value>
             <description> 備份數,根據集群節點合理規劃</description>
    </property>
    <property>
             <name>dfs.namenode.secondary.http-address</name>
             <value>http://localhost:9001</value>
             <description> namenode 界面訪問地址</description>
    </property>
    <property>
            <name>dfs.webhdfs.enabled</name>
            <value>true</value>
            <description> 是否使用界面訪問</description>
    </property>
</configuration>

2.3 etc/hadoop/hadoop-env.sh

  配置 JDK 環境變量,hadoop 不會讀取系統的環境變量,需要在hadoop的運行環境配置文件進行配置;

export JAVA_HOME=/home/work/jdk/jdk1.8.0_191

3. 初始化namenode節點

  ./bin/hadoop namenode -format

4. 啟動HDFS

  ./sbin/start-dfs.sh

5. 檢查運行情況

  jps

  技術分享圖片

HDFS環境搭建(單節點配置)