Hive2.2.0安裝

阿新 • • 發佈：2019-01-17

來源：http://www.cnblogs.com/hmy-blog/p/6506417.html

一、Hive 執行模式

與 Hadoop 類似，Hive 也有 3 種執行模式：

1. 內嵌模式

將元資料儲存在本地內嵌的 Derby 資料庫中，這是使用 Hive 最簡單的方式。但是這種方式缺點也比較明顯，因為一個內嵌的 Derby 資料庫每次只能訪問一個數據檔案，這也就意味著它不支援多會話連線。

2. 本地模式

這種模式是將元資料儲存在本地獨立的資料庫中（一般是 MySQL），這用就可以支援多會話和多使用者連線了。

3. 遠端模式

此模式應用於 Hive 客戶端較多的情況。把 MySQL 資料庫獨立出來，將元資料儲存在遠端獨立的 MySQL 服務中，避免了在每個客戶端都安裝 MySQL 服務從而造成冗餘浪費的情況。

二、下載安裝 Hive

http://hive.apache.org/downloads.html

tar -xzvf apache-hive-2.2.0-bin.tar.gz ##解壓

三、配置系統環境變數

修改 /etc/profile 檔案 vim ~/.bashrc 來修改（root使用者操作）：

設定 Hive環境變數
# Hive environment
export HIVE_HOME=/usr/local/apache-hive-2.2.0-bin
export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH

使環境變數生效:

source ~/.bashrc

四、內嵌模式

（1）修改 Hive 配置檔案

$HIVE_HOME/conf 對應的是 Hive 的配置檔案路徑，類似於之前學習的Hbase, 該路徑下的 hive-site.xml 是 Hive 工程的配置檔案。預設情況下，該檔案並不存在，我們需要拷貝它的模版來實現：

cp hive-default.xml.template hive-site.xml

hive-site.xml 的主要配置有：

hive.metastore.warehouse.dir
該引數指定了 Hive 的資料儲存目錄，預設位置在 HDFS 上面的 /user/hive/warehouse 路徑下。

hive.exec.scratchdir
該引數指定了 Hive 的資料臨時檔案目錄，預設位置為 HDFS 上面的 /tmp/hive 路徑下。

同時我們還要修改 Hive 目錄下 /conf/hive-env.sh 檔案（請根據自己的實際路徑修改），該檔案預設也不存在，同樣是拷貝它的模版來修改：

cp hive-env.sh.template hive-env.sh

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME= /usr/local/hadoop-2.6.0
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/hadoop/cloud/apache-hive-2.1.1-bin/conf
# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=/home/hadoop/cloud/apache-hive-2.1.1-bin/lib

（2）建立必要目錄

前面我們看到 hive-site.xml 檔案中有兩個重要的路徑，切換到 hadoop 使用者下檢視 HDFS 是否有這些路徑：

hadoop fs -ls /

沒有發現上面提到的路徑，因此我們需要自己新建這些目錄，並且給它們賦予使用者寫（W）許可權。

$HADOOP_HOME/bin/hdfs dfs -mkdir -p /user/hive/warehouse
$HADOOP_HOME/bin/hdfs dfs -mkdir -p /tmp/hive/
hdfs dfs -chmod 777 /user/hive/warehouse
hdfs dfs -chmod 777 /tmp/hive

檢查是否新建成功 hadoop fs -ls / 以及 hadoop fs -ls /user/hive/ ：

（3）修改 io.tmpdir 路徑【不需要】

同時，要修改 hive-site.xml 中所有包含 ${system:java.io.tmpdir} 欄位的 value 即路徑（vim下 / 表示搜尋，後面跟你的關鍵詞，比如搜尋 hello，則為 /hello , 再回車即可），你可以自己新建一個目錄來替換它，例如 /home/Hadoop/cloud/apache-hive-2.1.1-bin/iotmp

mkdir /home/hadoop/cloud/apache-hive-2.1.1-bin/iotmp
chmod 777 /home/hadoop/cloud/apache-hive-2.1.1-bin/iotmp
把hive-site.xml 中所有包含 ${system:Java.io.tmpdir}替換成/home/hadoop/cloud/apache-hive-2.1.1-bin/iotmp

全域性替換命令先按Esc鍵再同時按shift+:把以下替換命令貼上按回車即可全域性替換

%s#${system:java.io.tmpdir}#/home/hadoop/cloud/apache-hive-2.1.1-bin/iotmp#g

（4）執行 Hive

./bin/hive

報錯

解決辦法：$HIVE_HOME/bin/schematool -dbType derby -initSchema 應該會報錯

報錯

解決方法：刪除/home/hadoop/cloud/apache-hive-2.1.1-bin目錄下 rm -rf metastore_db/

再次初始化：$HIVE_HOME/bin/schematool -dbType derby -initSchema 不再報錯

重新執行./bin/hive

報錯

/tem/hive 沒寫的許可權

Hive本身自帶一個資料庫，但是有弊端，hive本身資料庫，每次只允許一個使用者登入

mysql安裝：http://blog.csdn.net/u014695188/article/details/51532410

設定mysql關聯hive

修改配置檔案

### 建立hive-site.xml檔案
在hive/conf/目錄下建立hive-site.xml檔案

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.169.134:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
<description>
Enforce metastore schema version consistency.
True: Verify that version information stored in metastore matches with one from Hive jars. Also disable automatic
schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures
proper metastore schema migration. (Default)
False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
</description>
</property>
</configuration>

報錯：Caused by: MetaException(message:Version information not found in metastore. )

解決：hive-site.xml加入

<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
<description>
Enforce metastore schema version consistency.
True: Verify that version information stored in metastore matches with one from Hive jars. Also disable automatic
schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures
proper metastore schema migration. (Default)
False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
</description>
</property>

報錯：缺少mysql jar包

解決：將其（如mysql-connector-Java-5.1.15-bin.jar）拷貝到$HIVE_HOME/lib下即可。

報錯：

Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized.
Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed,
don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql)

解決：

#資料庫的初始化。
bin/schematool -initSchema -dbType mysql

啟動：

bin/hive

啟動後mysql 多了hive 資料庫

測試

建立資料庫

create database db_hive_test;

建立測試表

use db_hive_test;

create table student(id int,name string) row format delimited fields terminated by '\t';

載入資料到表中

新建student.txt 檔案寫入資料(id，name 按tab鍵分隔)

vi student.txt

1001 zhangsan
1002 lisi
1003 wangwu
1004 zhaoli

load data local inpath '/home/hadoop/student.txt' into table db_hive_test.student

查詢表資訊

select * from student;

查看錶的詳細資訊

desc formatted student;

通過ui頁面檢視建立的資料位置

http://192.168.169.132:50070/explorer.html#/user/hive/warehouse/db_hive_test.db

通過Mysql檢視建立的表

檢視hive的函式

show functions;

檢視函式詳細資訊

desc function sum; desc function extended