《Hive程式設計指南》筆記

阿新 • • 發佈：2019-01-19

準備工作

配置mysql資料庫為元資料庫
vi hive2.2/conf/hive-site.xml
初始化hive
$HIVE_HOME/bin/schematool -dbType -initSchema
啟動hive
$HIVE_HOME/bin/hive 或者$ HIVE_HOME/bin/hive –e ‘your sql’

一、Hive命令列引數

./hive [option]

-d key=value 定義一個變數。
-e “sql” 以命令列方式執行sql。
-f filename.hql 執行filename.hql裡面的sql語句。
——>在hive命令中的方式為：hive>source filename.hql

-S 不輸出，以靜默的方式執行
-i /path…/.hiverc 啟動時先執行.hiverc中的查詢語句(如果未指定，則查詢$HOME/.hiverc)
在hive命令中執行shell命令（在命令前面加!）：hive>！ls -l / ；
在hive中執行hdfs命令：去除 hdfs關鍵字即可
在hiveconf中設定hive.cli.print.header為true 顯示欄位名稱

二、Hive中的資料型別

1、基本資料型別

資料型別	長度	例子
TINYINT	1位元組有符號整數	20
SMALINT	2位元組有符號整數	20
INT	4位元組有符號整數	20
BIGINT	8位元組有符號整數	20
BOOLEAN	布林型別	TRUE
FLOUT	單精度浮點數	3.14159
DOUBLE	雙精度浮點數	3.14159
STRING	字串序列	“I love you”
TIMESTAMP	證書、浮點數或字串
BINARY	位元組陣列

## 2、集合資料型別 ##

資料型別	描述	例子
STRUCT	JAVA中的enum	STRUCT{ "JOHN", "TOM" }
MAP	鍵值對型別	map{"first":"John","last":"Tom"}
ARRAY	陣列型別	array{1,2,3,4,5,6,7,8}

## 3、資料型別建表示例 ## CREATE TABLE empoyees( name STRING, salary FLOUT, subordinates ARRAY, deductions MAP

以下用如圖兩個表演示結果內容：

1、INNER JOIN 內連線(優化：表從左往右依次變大)

語句：

SELECT a.name,a.number,b.name 
FROM table1 a JOIN table2 b 
ON a.number=b.number;

結果：

注意：老版本不支援非等值join
新版本(1.2.0以後)支援非等值join，但是語法必須如下：

select a.name b.* from t_1 a,t_2 b where a.id>b.id;	//(不加join關鍵字)

### 2、LEFT OUTER JOIN 左外連線 ### 語句：

SELECT a.name,a.number,b.name 
FROM table1 a LEFT OUTER JOIN table2 b 
ON a.number=b.number;

結果：

3、RIGHT OUTER JOIN 右外連線

語句：

SELECT,a.name,a.number,b.name 
FROM table1 a RIGHT OUTER JOIN table2 b 
ON a.number=b.number;

結果：

4、FULL OUTER JOIN 全外連線

語句：

SELECT a.name,a.number,b.name 
FROM table1 a FULL OUTER JOIN table2 b 
ON a.number=b.number;

結果：

5、LEFT SEMI JOIN 左半開連線

注意：左半開連線的SELECT和WHERE不能引用右半邊表的欄位
語句：

SELECT a.name,a.number 
FROM table1 a LEFT SEMI JOIN table2 b 
ON a.number=b.number;

結果：

6、JOIN 笛卡爾積連線

注意：就是內連線不加ON的條件
語句：

SELECT a.name,a.number,b.name
FROM table1 a JOIN table2 b;

五、檢視與索引

（一）檢視

CREATE VIEW myview AS SELECT * FROM mytable; 建立檢視語法
CREATE OR REPLACE VIEW myview AS SELECT * FROM mytable; 建立/更新檢視
DROP VIEW [IF EXISTS] myview; 刪除檢視
ALTER VIEW myview SET TBLPROPERTIES(key=value); 只能更改檢視元資料，而不能更改其他東西；

（二）索引

建立索引：

CREATE INDEX myindex
 ON TABLE mytable(columnName)
 AS '索引處理器的全限定類名'
 WITH DEFERRED REBUILD		//如果使用者指定此選項，則新索引呈現空白狀態
 IN TABLE myindextable		//指定建立索引後的表名
 PARTITION(key=value);	//對此分割槽進行索引建立

myindex：索引名稱
columnName：建立索引的列的名稱
myindextable：建立索引後的表名

ALTER INDEX myindex ON TABLE mytable PARTITION(key=value) REBUILD; 修改索引
SHOW FORMATTED INDEX ON mytable; 顯示索引
DROP INDEX [IF EXISTS] myindex ON mytable; 刪除索引

六、模式設計

關係型資料庫中按照天數建立表，在Hive中改成按照天數建立分割槽。
分桶：
CLUSTER BY (欄位) INTO num BUCKETS
建立表時(CREATE TABLE)使用，用於把資料按照（欄位）均勻的分在num個桶中-----
這裡我們需要注意幾點

我們需要確保reduce 的數量與表中的bucket 數量一致，為此有兩種做法

(1)讓hive強制分桶，自動按照分桶表的bucket 進行分桶。(推薦)
```
 set  hive.enforce.bucketing = true;
```
(2)手動指定reduce數量
```
 set mapreduce.job.reduces = num;

 set mapreduce.reduce.tasks = num;
```
並在 SELECT 後增加CLUSTER BY 語句

七、許可權管理

1、開啟Hive許可權

hive>  set hive.security.authorization.enabled=true;

2、對使用者或使用者組授予許可權

GRANT [CREATE|SELECT|...] 
ON [DATABASE|TABLE] database_or_table_name 
TO [USER|GROUP] user_or_group_name;

3、對使用者授予角色

CREATE ROLE rule_name;		//建立角色
GRANT [SELECT|CREATE|...] ON TABLE table_name TO ROLE role_name; 	//賦予角色許可權
GRANT ROLE role_name TO [USER|GROUP] user_name;		//賦予使用者角色

4、刪除授權

REVOKE [SELECT|CREATE|...] 
ON [DATABASE|TABLE] database_or_table_name 
FROM [USER|GROUP] user_or_group_name;

5、分割槽表的授權

預設情況下，分割槽表的授權將會跟隨表的授權，也可以給每一個分割槽建立一個授權機制，只需要設定表的屬性PARTITION_LEVEL_PRIVILEGE設定成TRUE

hive> ALTER TABLE auth_part  
> SET TBLPROPERTIES ("PARTITION_LEVEL_PRIVILEGE"="TRUE");  
Authorization failed:No privilege 'Alter' found for inputs  
{database:default, table:auth_part}.  
Use show grant to get more details.

6、自動授權

(1)表建立者的許可權

(2)其他使用者的許可權

7、常用授權關鍵字

名稱	描述
ALL	所有許可權
ALTER	更改表結構，建立分割槽
CREATE	建立表
DROP	刪除表，或分割槽
INDEX	建立和刪除索引
LOCK	鎖定表，保證併發
SELECT	查詢表許可權
SHOW_DATABASE	檢視資料庫許可權
UPDATE	為表/分割槽插入或載入本地資料的許可權

具體檢視轉載的部落格 [https://blog.csdn.net/yancychas/article/details/84202400](https://blog.csdn.net/yancychas/article/details/84202400) # 八、UDF/UDAF # #### 1、顯示函式/描述函式 ####

SHOW FUNCTIONS;
DESCRIBE FUNCTION [EXTENDED] function_name;

#### 2、加入函式 ####

ADD JAR /root/...	//路徑不要加入引號
CREATE TEMPORARY FUNCTION function_name AS '完全限定類名'

#### 3、自定義UDF #### 1. 繼承UDF 2. 重寫evaluate方法 #### 4、自定義UDAF #### 1. 繼承AbstractGenericUDAFResolver，實現getEvaluator方法（返回：繼承GenericUDAFEvaluator的自定義類） 2. 繼承GenericUDAFEvaluator的自定義類，實現init、getNewAddregationBuffer、iterate、terminatePartial、merge、terminate方法