1.HIVE安裝

hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合資料倉庫的統計分析。所有首先需要安裝分散式環境的hadoop程式（參考：http://blog.csdn.net/cweeyii/article/details/54172900）

1.1 Hive安裝

• hive安裝

#本人hive是安裝在虛擬機器hadoop-master上
#下載和hadoop配套的hive環境
 

wget http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz
tar -zxvf apache-hive-1.2.1-bin.tar.gz
mv apache-hive-1.2.1-bin hive
#配置path環境
echo "export HIVE_HOME=/home/hadoop/workspace/hive">> ~/.bash_profile
source ~/.bash_profile
echo "export PATH=$HIVE_HOME/bin:$PATH">> ~/.bash
 
_profile
source ~/.bash_profile

• hive遠端模式配置
  配置mysql遠端訪問

#在本地機器上安裝mysql服務（本地機器hadoop-macbook)[具體安裝過程不再此介紹]
#測試mysql服務是否正常(如果能正常登陸則正常）
mysql -h127.0.0.1 -P3306 -uroot -proot --default-character-set=utf8
#測試遠端連線是否開啟（登陸到虛擬機器hadoop-master)
mysql -hhadoop-macbook -P3306 -uroot -proot --default-character-set
 
=utf8
#如果正常跳過這步
mysql -h127.0.0.1 -P3306 -uroot -proot --default-character-set=utf8 (本地登陸）
use mysql
SELECT User, Password, Host FROM user;
#存在如下一條記錄（表示root使用者在localhost這個ip可以遠端訪問mysql,即只允許本地訪問）
| root | *81F5E21E35407D884A6CD4A731AEBFB6AF209E1B | localhost|     
#可以新增新的記錄，指定ip為要訪問機器就行
#為簡單允許所有ip以root使用者連線該機器
UPDATE user SET Host='%' WHERE User='root' AND Host='localhost' LIMIT 1; 
| root | *81F5E21E35407D884A6CD4A731AEBFB6AF209E1B | %                       |
#再次測試應該可以正常連線
mysql -hhadoop-macbook -P3306 -uroot -proot --default-character-set=utf8
#建立hive的元資料庫（建立時為空，hive在第一啟動時會將元資料表記錄到該資料庫）
create database hive
#上傳mysql-connection的jar包到hive的lib包中，使得hive支援選擇mysql作為hive元資料庫 
scp [email protected]:/Users/wenyi/Downloads/ /home/hadoop/workspace/hive/lib

修改hive配置檔案

#修改hive-env.sh(在conf目錄下）
mv hive-env.sh.template hive-env.sh
#新增如下內容
export HADOOP_HOME=/home/hadoop/workspace/hadoop  （#設定hadoop的目錄）
export HIVE_CONF_DIR=/home/hadoop/workspace/hive/conf （#設定hive的conf目錄）

#設定日誌檔案位置
mv hive-log4j.properties.template hive-log4j.propertities
#指定hive的log目錄
hive.log.dir=/home/hadoop/workspace/hive/logs

#設定hive基本屬性
vim hive-site.xml
#內容如下：
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hive.metastore.warehouse.dir</name>
      <value>/home/hadoop/workspace/hive/warehouse</value>
    </property>
    <property>
        <name>hive.exec.scratchdir</name>
        <value>/home/hadoop/workspace/hive/scratchdir</value>
    </property>
    <property>
        <name>hive.querylog.location</name>
        <value>/home/hadoop/workspace/hive/logs</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop-macbook:3306/hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
    </property>
</configuration>
#hive.metastore.warehouse.dir ：資料倉庫的位置，預設是/user/hive/warehouse (hadoop中的檔案目錄，非本機）
#hive.exec.scratchdir hive用來儲存不同階段的map/reduce的執行計劃的目錄，同時也儲存中間輸出結果，預設是/tmp/<user.name>/hive，我們實際一般會按組區分，然後組內自建一個tmp目錄儲存； (hadoop中的檔案目錄，非本機）
#hive.querylog.location 查詢日誌目錄
#剩下設定mysql jdbc連結

2.HIVE使用

#保證hadoop已經正常啟動
#啟動hive,第一次啟動會往資料庫中建立一些hive元資料表格
hive
#如果出現filesystem close相關的目錄或者檔案許可權問題
hadoop fs -chmod 777 /home/hadoop/workspace/hive/scratchdir
#成功則進入hive提示符
#建立一個hive表
hive> create table test1(tid int, tname string);
OK
Time taken: 1.365 seconds
hive>

#檢視mysql中hive元資料表
mysql> show tables;
+---------------------------+
| Tables_in_hive            |
+---------------------------+
| BUCKETING_COLS            |
| CDS                       |
| COLUMNS_V2                |
| DATABASE_PARAMS           |
| DBS                       |
| FUNCS                     |
| FUNC_RU                   |
| GLOBAL_PRIVS              |
| PARTITIONS                |
| PARTITION_KEYS            |
| PARTITION_KEY_VALS        |
| PARTITION_PARAMS          |
| PART_COL_STATS            |
| ROLES                     |
| SDS                       |
| SD_PARAMS                 |
| SEQUENCE_TABLE            |
| SERDES                    |
| SERDE_PARAMS              |
| SKEWED_COL_NAMES          |
| SKEWED_COL_VALUE_LOC_MAP  |
| SKEWED_STRING_LIST        |
| SKEWED_STRING_LIST_VALUES |
| SKEWED_VALUES             |
| SORT_COLS                 |
| TABLE_PARAMS              |
| TAB_COL_STATS             |
| TBLS                      |
| VERSION                   |
+---------------------------+
#檢視剛才建立的hive表元資料資訊
mysql> select * from TBLS;
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER  | RETENTION | SD_ID | TBL_NAME | TBL_TYPE      | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT |
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+
|      1 |  1483863200 |     1 |                0 | hadoop |         0 |     1 | test1    | MANAGED_TABLE | NULL               | NULL               |
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+

hive安裝完成