1. 程式人生 > >Hadoop2.6.0-Centos7.0真機安裝過程

Hadoop2.6.0-Centos7.0真機安裝過程

版本: hadoop2.6.0
依賴: jdk1.8.0_40 , eclipse(java普通版) , glibc_2.14
hadoop_eclipse_plugin_2.6.0
測試所用使用者名稱: garreet.king
部署模式: 偽分散式部署

1) 安裝JDK,解壓安裝在/usr/program/jdk1.8.0_40目錄下

chown -R garreet.king /usr/program/jdk1.8.0_40

2) 安裝hadoop,解壓安裝在/usr/program/hadoop-2.6.0目錄下

chown -R garreet.king /usr/program/hadoop-2.6.0 

3) 在/etc/profile檔案中配置JDK的環境變數,加到檔案末尾

#set java environment
export JAVA_HOME=/usr/program/jdk1.8.0_40
export JRE_HOME=/usr/program/jdk1.8.0_40/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

4) 在/etc/profile檔案中配置hadoop的環境變數,加到檔案末尾

# set hadoop
export HADOOP_HOME=/usr/program/hadoop-2.6.0
export PATH=$HADOOP_HOME/bin:$PATH

5) 設定/etc/profile為可執行,並執行環境變數

chmod +x /etc/profile
source /etc/profile

6) 檢查java和hadoop是否成功

java -version
hadoop version

7) 配置無密碼ssh

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

8) 建立hadoop內的相關目錄,在hadoop目錄內執行命令

#臨時目錄
mkdir tmp
#資料目錄
mkdir dfs 
cd ./dfs 
#名稱節點目錄
mkdir name 
#真實資料目錄
mkdir data 
cd ..

9) 配置hadoop,以下路徑均為相對hadoop的路徑
《etc/hadoop/hadoop-env.sh》 檔案中

export JAVA_HOME=/usr/program/jdk1.8.0_40

《etc/hadoop/core-site.xml》檔案中

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/program/hadoop-2.6.0/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

《hdfs-site.xml》檔案中

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
    <value>file:/usr/program/hadoop-2.6.0/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/program/hadoop-2.6.0/dfs/data</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

《mapred-site.xml》 檔案中

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

《 yarn-site.xml 》 檔案中:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

10)格式化hadoop的檔案系統

hadoop namenode -format

看到dfs/name/current資料夾,就是成功了,這裡只能執行一次
不然data和name裡面的檔案就不匹配了,修正的方法,這裡不涉及

11.)啟動hadoop

cd sbin
./start-dfs.sh
./start-yarn.sh

用 jps 命令檢視,有以下程序則為成功
SecondaryNameNode
Jps
NameNode
DataNode
ResourceManager
NodeManager

12)驗證hadoop

#建立一個目錄
hadoop fs -mkdir /test
hadoop fs -ls /

看到 test 目錄的描述,就是正確了