在此之前，接觸了hadoop，在本地安裝遇到了好多坑，這裡簡單講一下安裝過程和常見錯誤。

一、安裝環境

環境：centos6.5虛擬機器

ip：192.168.217.133

使用者：root

安裝了 mysq資料庫

二、安裝JDK

需要安裝JAVA環境，所以首先安裝JDK，這裡用到的是jdk-9.0.1版本。

下載地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 找到對應下載即可

1、檢視主機是否安裝了jdk

[[email protected] ~]# rpm -qa |grep java 

如果安裝了，可以用rpm  -e 刪除重新下載使用。

2、安裝jdk

rpm -ivh jdk-9.0.1_linux-x64_bin.rpm 

3、修改/etc/profile環境，（前提檢視jdk的安裝路徑，一般在/usr/java/ 底下。）

vim /etc/profile

新增如下：

export JAVA_HOME=/usr/java/jdk-9.0.1

export PATH=$PATH:$JAVA_HOME/bin

儲存退出

使用   sourch /etc/profile  使配置生效。

4、檢視安裝成功

[[email protected] conf]# java -version      
java version "9.0.1"
Java(TM) SE Runtime Environment (build 9.0.1+11)
Java HotSpot(TM) 64-Bit Server VM (build 9.0.1+11, mixed mode)

如果出現如上所示則jdk安裝成功。

三、安裝hadoop

這裡使用的是hadoop-1.2.1.tar.gz版本

下載地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

1、下載

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

2、解壓進目錄/opt/ （目錄隨意，也可自建）

tar -zxf hadoop-1.2.1.tar.gz -C /opt/

3、配置hadoop

cd /opt/hadoop-1.2.1/conf

主要配置4個檔案：mapred-site.xml、core-site.xml、 hdfs-site.xml、hadoop-env.sh

vim mapred-site.xml

<configuration>  
        <property>
                <name>mapred.job.tracker</name>
                <value>Master:9001</value>                                                                                                                 
        </property>
</configuration> 

vim core-site.xml

<configuration>  
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/hadoop</value>
        </property>
        <property>
                <name>dfs.name.dir</name>
                <value>/hadoop/name</value>
        </property>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://Master:9000</value>                                                                                                          
        </property>

</configuration>

vim hdfs-site.xml

<configuration>  
        <property>-
                <name>dfs.data.dir</name>
                <value>/hadoop/data</value>                                                                                                                
        </property>
</configuration> 

vim  hadoop-env.sh

export JAVA_HOME=/usr/java/jdk-9.0.1/   只新增這一行 JAVA路徑。

4、修改/etc/profile環境

export HADOOP_HOME=/opt/hadoop-1.2.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

儲存退出

source /etc/profile 使檔案生效。

5、測試是否安裝成功

[[email protected] conf]# hadoop fs -ls /
Warning: $HADOOP_HOME is deprecated.

drwxr-xr-x   - root supergroup          0 2017-10-19 11:00 /hadoop

出現如上表示成功。

6、啟動hadoop

使用jps檢視

[[email protected] ~]# jps
2391 Jps

沒有程序。

進入hadoop執行目錄

# cd /opt/hadoop-1.2.1/bin

# start-all.sh   執行即可

執行過程中會提示你輸入主機密碼還幾次，輸入即可，如果不想輸入，給主機設定ssh免密登入，不會的話網上一大堆這裡就不多說了。

7、檢測啟動狀態

使用jps命令檢視

[[email protected] bin]# jps                     
2642 TaskTracker
4132 Jps
2423 SecondaryNameNode
2266 DataNode
2155 NameNode
2507 JobTracker

出現如上程序說明安裝成功。

四、安裝hive

下載地址：http://archive.apache.org/dist/hive/hive-0.9.0/hive-0.9.0-bin.tar.gz

1、下載軟體

 wget http://archive.apache.org/dist/hive/hive-0.9.0/hive-0.9.0-bin.tar.gz

解壓進OPT目錄 

tar -zxf hive-0.9.0-bin.tar.gz -C /opt/   

2、進入conf目錄修改配置內容

cd /opt/hive-0.9.0-bin/conf

 hive-env.sh檔案只有模板，所以首先我們複製一份模板使用

cp hive-env.sh.template hive-env.sh

vim hive-env.sh

新增如下一行hadoop家目錄

HADOOP_HOME=/opt/hadoop-1.2.1   

vim hive-site.xml 

新增如下配置：

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
-
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
-
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
-
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration> 

3、修改/etc/profile環境

export HIVE_HOME=/opt/hive-0.9.0-bin

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH        ##這是JDK、Hadoop、Hive三個的結合，只要這一條即可。

儲存退出

source /etc/profile 使檔案生效。

4、啟動hive

[[email protected] ~]# hive

hive> 

進入成功。

以下部分講一下hive啟動的幾個失敗點：

1、Caused by: java.net.ConnectException: Connection refused (Connection refused)

這種情況是連線失敗，mysql服務沒有啟動，啟動即可。

2、Caused by: org.datanucleus.exceptions.NucleusException: The java type java.lang.Integer (jdbc-type="", sql-type="") cant be mapped for this datastore. No mapping is available.

錯誤與linux框的語言設定有關，在/etc/profile檔案中新增如下一行：

export LANG=C  啟動即可.

3、Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BONECP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver

這種錯誤屬於缺少連線資料庫的JAR包，下載：mysql-connector-java-5.1.44-bin.jar

下載地址：https://dev.mysql.com/downloads/connector/j/ 

把下載的jar包，放入/opt/hive-0.9.0-bin/lib 底下即可成功啟動。

4、Caused by: java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES)

出現這種錯誤是mysql密碼錯誤，改成正確密碼即可，（本機的mysql使用者名稱和密碼都是root）

5、如果出現沒有許可權的問題，進入資料庫：

#(執行下面的語句  *.*:所有庫下的所有表   %：任何IP地址或主機都可以連線)
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
FLUSH PRIVILEGES;

6、Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported i

    出現原因：NameNode掛了，或者是兩個NN都是standBy狀態。
    解決辦法：重啟namenode，讓其恢復到正常狀態。

其他的啟動錯誤基本都很簡單，檢視報錯基本都可解決，大家有什麼不能解決的錯誤，提出來一起看一下，謝謝瀏覽。