CentOS6.7 安裝hadoop2.7.5
阿新 • • 發佈:2018-03-15
hadoop單機版安裝一、下載hadoop二進制包
下載地址:http://mirrors.hust.edu.cn/apache/hadoop/common/
二、環境準備
1、安裝JDK(1.8.0_151)
2、安裝openssh-clients
註意: CentOS6.7 默認沒有安裝openssh-clients,導致系統沒有ssh命令,而hadoop腳本中會使用ssh命令,如果不裝openssh-clients,啟動服務器時會報錯
三、安裝hadoop
tar zxf hadoop-2.7.5.tar.gz -C /usr/local/ mv /usr/local/hadoop-2.7.5 /usr/local/hadoop cd /usr/local/hadoop/etc/hadoop
1、修改hadoop-env.sh,配置JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_151
2、修改core-site.xml文件,在configuration標簽中加入以下配置
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoo.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration>
3、修改hdfs-site.xml文件,加入以下配置
<configuration> <property> <name>dfs.http.address</name> <value>192.168.115.237:50070</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>
4、修改marped-site.xml文件
cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml
<configuration> <property> <name>marped.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
5、格式化hadoop的HDFS文件系統,在hadoop文件中輸入
./bin/hadoop namenode -format
6、如果第5步沒有報錯,則執行下面的命令,啟動hadoop服務
sbin/start-all.sh
啟動時,會多次登錄本機,要求輸入root賬戶的密碼,可以使用公鑰認證的方式,進行免密碼登錄。這裏不介紹任何設置
如果服務正常啟動,輸入jps能看到以下進程
訪問http://ip:50070 可以查看hadoop集群狀態
參考:http://blog.csdn.net/qq_32554863/article/details/79409433
CentOS6.7 安裝hadoop2.7.5