今天嘗試在虛擬機器上配置hadoop與hive環境

linux系統為：  CentOS-6.3 64位

jdk版本：jdk-7u25-linux-x64.rpm

hadoop版本： hadoop-1.0.4.tar.gz

hive版本：hive-0.10.0-bin

一  配置相關環境變數

[[email protected] ~]# vi /etc/profile

進入profile檔案，新增如下程式碼

JAVA_HOME=/usr/java/jdk1.7.0_25
JRE_HOME=/usr/java/jdk1.7.0_25/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/jt.jar.$JAVA_HOME/lib/tools.jar.$JRE_HOME/li
b
 

export JAVA_HOME JRE_HOME PATH CLASSPATH

用source在當前shell環境下執行上述檔案 （source常用來執行重新執行該修改過的初始化檔案）

[[email protected] ~]# source /etc/profile

   

   驗證

[[email protected] ~]# java -version
java version "1.7.0_25"

裝完Java之後我們還要確認有沒有安裝sshd服務和ssh客戶端工具，預設ssh已經安裝，因此我們只要再安裝一下rsync。
輸入命令： yum install rsync

再確認可以用ssh免密碼登入localhost
輸入ssh localhost命令： ssh localhost

至此，第一步大功告成！

二 配置hadoop

先把hdoop的包放在/opt/hadoop資料夾下（linux中/opt資料夾常用來放第三方的安裝軟體）

解壓hadoop

[[email protected] ~]# cd /opt
[[email protected] opt]# cd hadoop/
[[email protected] hadoop]# ls
hadoop-1.0.4.tar.gz
[[email protected] hadoop]# tar zxf hadoop-1.0.4.tar.gz 

注：

tar zxf hadoop-1.0.4.tar.gz 

可有四個引數
x : 從 tar 包中把檔案提取出來
z : 表示 tar 包是被 gzip 壓縮過的，所以解壓時需要用 gunzip 解壓
v : 顯示詳細資訊
f xxx.tar.gz : 指定被處理的檔案是 xxx.tar.gz
進入解壓後的資料夾，找到conf/hadoop-env.sh檔案中

找到# export JAVA_HOME=/usr/lib/j2sdk1.5-sun 把前面的註釋符號#去掉,等號後面的路徑改為你的JDK所在的目錄，如你的java可執行檔案在/usr/bin/java，則寫成（不要包含bin）：
export JAVA_HOME=/usr

注意：如果不知道java在什麼地方請用whereis java查詢

# The java implementation to use.  Required. 
 export JAVA_HOME=/usr

  b.配置hadoop的單機叢集模式（偽叢集模式）
      修改conf/core-site.xml，內容改為：
      <configuration>
      <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:9000</value>
      </property>
      </configuration>
    修改conf/hdfs-site.xml，內容改為：
    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    </configuration>
   修改conf/mapred-site.xml，內容改為：
   <configuration>
   <property>
   <name>mapred.job.tracker</name>
   <value>localhost:9001</value>
   </property>
   </configuration>

c 配置hadoop環境變數

在/etc/profile中新增

export HADOOP_HOME=/opt/hadoop/hadoop-1.0.4
export HADOOP_CONF_DIR=/opt/hadoop/hadoop-1.0.4/conf
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin

[[email protected] usr]# source /etc/profile

d 初始化hadoop Namenode

[[email protected] hadoop-1.0.4]# bin/hadoop namenode -format

e 啟動執行hadoop

執行：bin/start-all.sh
等到所有程序都執行後繼續
注意：可以用jps命令看一下啟動了哪些java程序：一般有以下幾個程序TaskTracker，SecondaryNameNode，JobTracker，Jps，NameNode，DataNode

[[email protected] hadoop-1.0.4]# bin/start-all.sh 
starting namenode, logging to /opt/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-root-namenode-localhost.out
[email protected]'s password: 
localhost: starting datanode, logging to /opt/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-root-datanode-localhost.out
[email protected]'s password: 
localhost: starting secondarynamenode, logging to /opt/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-root-secondarynamenode-localhost.out
starting jobtracker, logging to /opt/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-root-jobtracker-localhost.out
[email protected]'s password: 
localhost: starting tasktracker, logging to /opt/hadoop/hadoop-1.0.4/libexec/../logs/hadoop-root-tasktracker-localhost.out
[[email protected] hadoop-1.0.4]# jps
6160 SecondaryNameNode
6048 DataNode
6337 TaskTracker
5922 NameNode
6472 Jps
6218 JobTracker

至此，hadoop安裝成功

三 配置hive

一、在HDFS中建立hive要用的目錄
輸入命令：
bin/hadoop fs -mkdir /tmp
bin/hadoop fs -mkdir /user/hive/warehouse
bin/hadoop fs -chmod g+w /tmp
bin/hadoop fs -chmod g+w /user/hive/warehouse
二、解壓Hive
tar zxf hive-0.8.0-bin.tar.gz
cd hive-0.8.0-bin
三、執行Hive
bin/hive

hive> show tables;
OK
Time taken: 10.612 seconds
hive> 

四 將hive/bin路徑新增到/etc/profile的$PATH中

 $PATH=.:/opt/hadoop/hive-0.10.0-bin/bin

這樣在使用者根目錄也可以直接hive

[[email protected] ~]# hive
Logging initialized using configuration in jar:file:/opt/hadoop/hive-0.10.0-bin/lib/hive-common-0.10.0.jar!/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_root_201308220430_1536743314.txt
hive> 

ps：設定hadoop環境變數後 每次執行 hadoop 命令都會警告:

[[email protected] hadoop]# hadoop
Warning: $HADOOP_HOME is deprecated.

雖然不影響其他的，但是感覺很不爽

google後得知

“

Hadoop本身對HADOOP_HOME做了判斷，具體在bin/hadoop和bin/hadoop-config.sh裡。在hadoop-config.sh裡有如下的配置：
Shell程式碼
if [ "$HADOOP_HOME_WARN_SUPPRESS" = "" ] && [ "$HADOOP_HOME" != "" ]; then
echo "Warning: \$HADOOP_HOME is deprecated." 1>&2
echo 1>&2
fi
對於這個警告問題，解決方法如下：
1.註釋掉hadoop-config.sh裡的上面給出的這段if fi配置（不推薦）
2.在當前使用者home/.bash_profile裡增加一個環境變數：
export HADOOP_HOME_WARN_SUPPRESS=1
注：修改完.bash_profile後需要執行source操作使其生效

摘自http://chenzhou123520.iteye.com/blog/1826002

”

對於第二種方法找不到root使用者的.bash_profile檔案，只能找到其他非根使用者的（設定了無效）

後又google到：

“

新增   export HADOOP_HOME_WARN_SUPPRESS=TRUE 到 hadoop-env.sh  中

”

然後source 問題解決

[[email protected] ~]# hadoop
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:

機理不明

參考連結：

http://wenku.baidu.com/view/ab7ca606f12d2af90242e68e.html

http://blog.csdn.net/shela_yin/article/details/7095401