什麼是hive

hive基本思想

Hive是基於Hadoop的一個數據倉庫工具(離線)，可以將結構化的資料檔案對映為一張資料庫表，並提供類SQL查詢功能。

為什麼使用Hive

直接使用hadoop所面臨的問題 

人員學習成本太高 

專案週期要求太短 

MapReduce實現複雜查詢邏輯開發難度太大 

為什麼要使用Hive 

操作介面採用類SQL語法，提供快速開發的能力。 

避免了去寫MapReduce，減少開發人員的學習成本。 

功能擴充套件很方便。

Hive的特點

• 可擴充套件 

Hive可以自由的擴充套件叢集的規模，一般情況下不需要重啟服務。

• 延展性 

Hive支援使用者自定義函式，使用者可以根據自己的需求來實現自己的函式。

• 容錯 

良好的容錯性，節點出現問題SQL仍可完成執行。

hive的基本架構

Jobtracker是hadoop1.x中的元件，它的功能相當於：Resourcemanager+MRAppMaster

TaskTracker 相當於：  Nodemanager  +  yarnchild

hive安裝

最簡安裝：用內嵌derby作為元資料庫

準備工作：安裝hive的機器上應該有HADOOP環境（安裝目錄，HADOOP_HOME環境變數）

安裝：直接解壓一個hive安裝包即可

此時，安裝的這個hive例項使用其內嵌的derby資料庫作為記錄元資料的資料庫

此模式不便於讓團隊成員之間共享協作
 

標準安裝：將mysql作為元資料庫

mysql安裝

上傳mysql安裝包，解壓：

[[email protected] ~]# tar -xvf MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar 

安裝mysql的server包

[[email protected] ~]# rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpm 

依賴報錯：缺perl

yum install perl

可以配置一個本地yum源進行安裝：

1、先在vmware中給這臺虛擬機器連線一個光碟映象

2、掛在光碟機到一個指定目錄：mount -t iso9660 -o loop /dev/cdrom /mnt/cdrom

3、將yum的配置檔案中baseURL指向/mnt/cdrom

安裝完perl後 ，繼續重新安裝mysql-server

[[email protected] ~]# rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpm 

又出錯：包衝突conflict with

移除老版本的衝突包：mysql-libs-5.1.73-3.el6_5.x86_64

[[email protected] ~]# rpm -e mysql-libs-5.1.73-3.el6_5.x86_64 --nodeps

繼續重新安裝mysql-server

[[email protected] ~]# rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpm 

成功後，注意提示：裡面有初始密碼及如何改密碼的資訊

初始密碼：/root/.mysql_secret  

改密碼指令碼：/usr/bin/mysql_secure_installation

安裝mysql的客戶端包：

[[email protected] ~]# rpm -ivh MySQL-client-5.6.26-1.linux_glibc2.5.x86_64.rpm

啟動mysql的服務端：

[[email protected] ~]# service mysql start

Starting MySQL. SUCCESS!

修改root的初始密碼：

[[email protected] ~]# /usr/bin/mysql_secure_installation  按提示

測試：

用mysql命令列客戶端登陸mysql伺服器看能否成功

[[email protected] ~]# mysql -uroot -proot

mysql> show databases;

給root使用者授予從任何機器上登陸mysql伺服器的許可權：

mysql> grant all privileges on *.* to 'root'@'%' identified by '你的密碼' with grant option;

Query OK, 0 rows affected (0.00 sec)



mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

注意點：要讓mysql可以遠端登入訪問

最直接測試方法：從windows上用Navicat去連線，能連，則可以，不能連，則要去mysql的機器上用命令列客戶端進行授權：

在mysql的機器上,啟動命令列客戶端： 

mysql -uroot -proot

mysql>grant all privileges on *.* to 'root'@'%' identified by 'root的密碼' with grant option;
mysql>flush privileges;

hive的元資料庫配置

vi conf/hive-site.xml

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>

1. 上傳一個mysql的驅動jar包到hive的安裝目錄的lib中
2. 配置HADOOP_HOME 和HIVE_HOME到系統環境變數中：vim /etc/profile
3. source /etc/profile

hive啟動測試

然後用命令啟動hive互動介面：   

[[email protected] ~]# hive