Hadoop2.6.0-Centos7.0真機安裝過程
版本: hadoop2.6.0
依賴: jdk1.8.0_40 , eclipse(java普通版) , glibc_2.14
hadoop_eclipse_plugin_2.6.0
測試所用使用者名稱: garreet.king
部署模式: 偽分散式部署
1) 安裝JDK,解壓安裝在/usr/program/jdk1.8.0_40目錄下
chown -R garreet.king /usr/program/jdk1.8.0_40
2) 安裝hadoop,解壓安裝在/usr/program/hadoop-2.6.0目錄下
chown -R garreet.king /usr/program/hadoop-2.6.0
3) 在/etc/profile檔案中配置JDK的環境變數,加到檔案末尾
#set java environment
export JAVA_HOME=/usr/program/jdk1.8.0_40
export JRE_HOME=/usr/program/jdk1.8.0_40/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
4) 在/etc/profile檔案中配置hadoop的環境變數,加到檔案末尾
# set hadoop
export HADOOP_HOME=/usr/program/hadoop-2.6.0
export PATH=$HADOOP_HOME/bin:$PATH
5) 設定/etc/profile為可執行,並執行環境變數
chmod +x /etc/profile
source /etc/profile
6) 檢查java和hadoop是否成功
java -version
hadoop version
7) 配置無密碼ssh
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
8) 建立hadoop內的相關目錄,在hadoop目錄內執行命令
#臨時目錄
mkdir tmp
#資料目錄
mkdir dfs
cd ./dfs
#名稱節點目錄
mkdir name
#真實資料目錄
mkdir data
cd ..
9) 配置hadoop,以下路徑均為相對hadoop的路徑
《etc/hadoop/hadoop-env.sh》 檔案中
export JAVA_HOME=/usr/program/jdk1.8.0_40
《etc/hadoop/core-site.xml》檔案中
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/program/hadoop-2.6.0/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
《hdfs-site.xml》檔案中
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/program/hadoop-2.6.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/program/hadoop-2.6.0/dfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
《mapred-site.xml》 檔案中
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
《 yarn-site.xml 》 檔案中:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
10)格式化hadoop的檔案系統
hadoop namenode -format
看到dfs/name/current資料夾,就是成功了,這裡只能執行一次
不然data和name裡面的檔案就不匹配了,修正的方法,這裡不涉及
11.)啟動hadoop
cd sbin
./start-dfs.sh
./start-yarn.sh
用 jps 命令檢視,有以下程序則為成功
SecondaryNameNode
Jps
NameNode
DataNode
ResourceManager
NodeManager
12)驗證hadoop
#建立一個目錄
hadoop fs -mkdir /test
hadoop fs -ls /
看到 test 目錄的描述,就是正確了