hadoop之安裝(一)
我是在阿里雲伺服器ECS上安裝的,這個雲伺服器上面自帶的ubutun 14.04版本,如果是一般的學習的話電腦配置還可以的話,安裝個vmware裝個linux系統也可以,但電腦配置不好可能會影響學習體驗
一.安裝JDK
安裝jdk apt-get install openjdk-7-jdk
設定JAVA環境變數 vim etc/profile:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
使檔案立馬生效:
source etc/profile
二.安裝hadoop
安裝較穩定版本(1.2.1)的hadoop: wget http://apache.fayea.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
移動到opt目錄:mv hadoop-1.2.1.tar.gz /opt/
解壓檔案:tar -zxvf hadoop-1.2.1.tar.gz
hadoop主要需要我們修改的檔案配置檔案如圖
1.配置hadoop-env.sh
修改export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 和我們安裝的jdk home一樣
2.設定core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name >
<value>/hadoop/name</value>
</property>
</configuration>
hadoop.tmp.dir為hadoop 工作目錄
dfs.name.dir 元資料目錄
fs.default.name 檔案系統的namenode如何訪問 hdfs://hadoop:9000中的hadoop為本機的hostname 檢視本機的hostname:cat /proc/sys/kernel/hostname
3.修改hdfs-site.xml
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>
配置檔案系統的資料
4.修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>lighttrace:9001</value>
</property>
</configuration>
配置任務排程器,hostname:埠
同樣設定hadoop環境變數 vim etc/profile,將之前的變更為:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-1.2.1
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
然後使檔案生效 source profile
對hadoop的namenode進行格式化操作
hadoop namenode -format,格式化可能報錯java.net.UnknownHostException 解決方法http://blog.csdn.net/shirdrn/article/details/6562292
如果是阿里雲主機的話需要在 /etc/hosts這樣設定:
內網IP地址 你的hostname
然後沒問題的話進入到/opt/hadoop-1.2.1/bin 目錄下start-all.sh啟動hadoop,啟動成功jps檢視程序如下就成功了: