#-----------------------------------------------------------------
# 安裝JDK
1. 檢視並解除安裝Linux自帶的JDK
安裝好的CentOS會自帶OpenJdk,用命令 java -version ，會有下面的資訊：
java version "1.6.0"
 OpenJDK Runtime Environment (build 1.6.0-b09)
 OpenJDK 64-Bit Server VM (build 1.6.0-b09, mixed mode)

安裝jdk的時候會提示：

修復/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory問題 1、在64系統裡執行32位程式如果出現/lib/ld-linux.so.2:  bad ELF interpreter: No such file or directory，安裝下glic即可 sudo yum install glibc.i686 先檢視 rpm -qa | grep java


顯示如下資訊：
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5


解除安裝：
rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5


2. 安裝JDK
解壓jdk.tar.gz檔案成目錄，如jdk1.8.0_45
mkdir /usr/java
cp jdk1.8.0_45 /usr/java
chown -R shawn:shawn java
ln -s ./jdk1.8.0_45/ jdk


3. 配置JDK
export JAVA_HOME=/usr/java/jdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


export PATH=$PATH:$JAVA_HOME/bin


source /etc/profile


update-alternatives --install /usr/bin/java java /usr/java/jdk/bin/java 60
update-alternatives --config java


#-----------------------------------------------------------------
# 安裝SSH
$ ssh-keygen -t rsa -P ''
...
Your identification has been saved in /home/hduser/.ssh/id_rsa.
Your public key has been saved in /home/hduser/.ssh/id_rsa.pub.
...
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ssh localhost


如果登入始終需要輸入密碼，請執行下面命令
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys 


#----------------------------------
# 安裝Hadoop
1. 使用root使用者，建立cloud目錄，並解壓hadoop
cd /usr/local
mkdir cloud
tar zxvf hadoop-2.6.0.tar.gz
ln –s hadoop-2.6.0 hadoop


2. 配置/etc/profile
#set hadoop env
export HADOOP_HOME=/usr/local/cloud/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


source /etc/profile


3. 配置etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk
export HADOOP_HOME=/usr/local/cloud/hadoop


4. 配置etc/hadoop/core-site.xml
<property>  
<name>hadoop.tmp.dir</name>
<value>/usr/local/cloud/hadoop/tmp</value>  
    <description></description>  
</property> 


<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>


5. 配置etc/hadoop/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>


<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/cloud/hadoop/dfs/name</value>
</property>


<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/cloud/hadoop/dfs/data</value>
</property>


<property>
<name>fs.checkpoint.dir</name>
<value>file:/usr/local/cloud/hadoop/dfs/sname</value>
</property>


<property>
<name>fs.checkpoint.edits.dir</name>
<value> file:/usr/local/cloud/hadoop/dfs/sname</value>
</property>


<property>
<name>dfs.permissions</name>
<value>false</value>
</property>


注：SecondaryNameNode存放FSImage和EditsLog的目錄分別由配置檔案中的fs.checkpoint.dir項和fs.checkpoint.edits.dir項來設定，然後會分別對這兩類目錄進行檢查和恢復


6. 配置etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


注：舊版的mapreduce在這裡面是要配置以下內容的：
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.1.2:9001</value>
</property>
新框架中已改為Yarn-site.xml中的resouceManager及nodeManager具體配置項，新框架中歷史job的查詢已從Jobtracker剝離，歸入單獨的mapreduce.jobtracker.jobhistory相關配置，


所以這裡不需要配置這個選項。在yarn-site.xml配置相關屬性即可。


7. 配置etc/hadoop/yarn-site.xml
<property>      
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>


<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>


8. 建立相應目錄
cd /usr/local/cloud/hadoop
mkdir –p ./dfs/name
mkdir –p ./dfs/data
mkdir –p ./dfs/sname


9. 格式Namenode
hdfs namenode -format


10. 啟動Hadoop服務


start-dfs.sh
start-yarn.sh

[email protected]:~$ jps
If everything is sucessful, you should see following services running
2583 DataNode
2970 ResourceManager
3461 Jps
3177 NodeManager
2361 NameNode
2840 SecondaryNameNode


11. 監控UI
http://localhost:50070/
http://localhost:8088/


#-----------------------------------------------------------------
# 編譯hadoop2.6.0的eclipse外掛
git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git


cd src/contrib/eclipse-plugin  


# eclipse.home 和 hadoop.home 設定成你自己的環境路徑
ant jar -Dversion=2.6.0 -Declipse.home=/usr/local/eclipse -Dhadoop.home=/usr/local/hadoop-2.6.0  
注：需要手動安裝的eclipse，通過命令列一鍵安裝的不行  


# 生成的位置
Building jar: /home/hunter/hadoop2x-eclipse-plugin/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar 


# 安裝外掛


1. 開啟eclipse的使用者最好是hadoop的管理員，也就是hadoop安裝時設定的那個使用者，否則會出現拒絕讀寫許可權問題。
2. 複製編譯好的jar到eclipse外掛目錄，重啟eclipse
3. 配置 hadoop 安裝目錄
window ->preference -> hadoop Map/Reduce -> Hadoop installation directory
4. 配置Map/Reduce 檢視
window ->Open Perspective -> other->Map/Reduce -> 點選“OK”
windows → show view → other->Map/Reduce Locations-> 點選“OK”
5. 控制檯會多出一個"Map/Reduce Locations"的Tab頁。在"Map/Reduce Locations"Tab頁 點選圖示<大象+>或者在空白的地方右鍵，
選擇"New Hadoop location…"，彈出對話方塊"New hadoop location…"，配置如下內容：將ha1改為自己的hadoop使用者。
MR Master -- Host:localhost Port:9001 DFS Master -- Host:localhost Port:9000
    Location name ：隨便取個名字 比如 hadoop2.2.0
    Map/Reduce（V2） Master ：根據hdfs-site.xml中配置dfs.datanode.ipc.address的值填寫

    DFS Master： Name Node的IP和埠，根據core-site.xml中配置fs.defaultFS的值填寫

1. 把Hive移動到/usr/local/cloud/目錄下並解壓
2. ln -s apache-hive-1.2.0-bin/ hive
3. 修改配置檔案
3.1 修改檔名，去掉template
hive-default.xml.template
hive-env.sh.template
hive-exec-log4j.properties.template
hive-log4j.properties.template

3.2 /etc/profile
export HIVE_HOME=/usr/local/cloud/hive
export PATH=$PATH:$HIVE_HOME/bin


3.3 hive-env.sh
HADOOP_HOME=/usr/local/cloud/hadoop
export HIVE_CONF_DIR=/usr/local/cloud/hive/conf
4. 啟動Hive:
直接執行hive
5. 測試
執行show tables; 有OK出現表示安裝成功。




問題解答：
1. “Found class jline.Terminal, but interface was expected”
這個錯誤表示hive用的jline.jar與hadoop下的jline.jar版本不一致
將hive下的拷貝到hadoop中