技術標籤：大資料hadoophdfs大資料單節點

前言

​ 去年六月份已經搭過叢集模式hadoop生態HA叢集，為何如今又要編寫這篇單節點的文章？因為環境總是會變化的，叢集搭起來也是較為耗費時間，且作為一個生態是環環相扣：比如說：hadoop的HA叢集，總得先搭建ZK的叢集吧。

​ 作為測試，我們大可不必每個環境搭建一次，故有此文，以此記錄不想搭叢集的測試方式。

安裝改名

tar -zxvf /xxx/tars/hadoop-2.6.0-cdh5.14.0-e3base3.0.0.tar.gz -C /xxx/software/

mv hadoop-2.6.0-cdh5.14.0-e3base3.0.0 hadoop

配置環境變數

單節點不用ZK

vim ~/.bash_profile

export IN_HOME=/xxx/software
export E3_INFO_HOME=$IN_HOME/e3-info
export HADOOP_HOME=$IN_HOME/hadoop
export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$ZOO_HOME/bin:$PATH

source ~/.bash_profile 【生效】

檢視jdk

which java

hadoop-env.sh

配置檔案路徑（我默寫了：xxx/software/hadoop/etc/hadoop/… …）

export JAVA_HOME=/opt/openjdk8u222-b10
export HADOOP_HOME=/xxx/software/hadoop
export E3_INFO_HOME=/xxx/software/e3-info
export HADOOP_LOG_DIR=$E3_INFO_HOME/hadoop/logs
export HADOOP_PID_DIR=$E3_INFO_HOME/hadoop/pids

export JAVA_HOME=${JAVA_HOME}

export HADOOP_CONF_DIR=/xxx/software/hadoop/etc/hadoop
 

core-site.xml

直接刪掉預設的模板檔案，新建core-site.xml插入。

<configuration>
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

同上刪除模板新建

<configuration>

    <property>
      <name>
 
dfs.namenode.name.dir</name>
      <value>/xxx/software/e3-info/nn</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>/xxx/software/e3-info/data1,/xxx/software/e3-info/data2,/xxx/software/e3-info/data3</value>
    </property>
    <property>
      <name>dfs.permissions</name>
      <value>false</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
      <name>dfs.datanode.socket.write.timeout</name>
      <value>600000</value>
    </property>
    <property>
      <name>dfs.datanode.max.transfer.threads</name>
      <value>4096000</value>
    </property>
    <property>
      <name>dfs.datanode.directoryscan.throttle.limit.ms.per.sec</name>
      <value>1000</value>
    </property>
    <property>
      <name>dfs.datanode.handler.count</name>
      <value>40</value>
    </property>
    <property>
      <name>dfs.client.socket-timeout</name>
      <value>300000</value>
    </property>
    <property>
      <name>dfs.datanode.max.xcievers</name>
      <value>8192</value>
    </property>
</configuration>

Slaves

localhost

初始化

hadoop namenode -format

啟動

hadoop-daemon.sh start namenode

hadoop-daemon.sh stop namenode

驗證

jps 命令出現程序：

NameNode

DataNode

hdfs dfs -fs / 無報錯

hdfs dfs -mkdi /test

hdfs dfs -fs / 出現

至此單節點已經完成。