1.HIVE 分割槽表

在 hive select 查詢中一般會掃描整個內容,消耗很多時間組沒必要的工作.有時候只需要掃描表中的一部分關心的資料,因此建表時引入了partition 概念.

分割槽表指的是在建立表時指定的partition的分割槽空間,Hive可以對資料按照某列或者某些列進行分割槽管理

\舉個例子:當前網際網路應用每天都要儲存大量的日誌檔案，幾G、幾十G甚至更大都是有可能。儲存日誌，其中必然有個屬性是日誌產生的日期。在產生分割槽時，就可以按照日誌產生的日期列進行劃分。把每一天的日誌當作一個分割槽

將資料組織成分割槽,主要可以提高資料的查詢速度.至於使用者儲存的每一條記錄到底放在哪個分割槽,由使用者來決定.即使用者在載入資料的時候必須現實地指定該部分資料放到哪.個分割槽

1.1實現細節

• 一個表可以擁有一個或者多個分割槽,每個分割槽以資料夾的形式單獨存放在表文件夾的目錄下
• 表和列名不區分大小寫
• 分割槽十一欄位的形式在表結構中存在,通過describe table 命令可以檢視到欄位存在,但是該欄位不存放實際的資料內容,僅僅是分割槽的表示

1.2語法

建立一個分割槽表:

create table table_name(

id int ,name string)

partitioned  by (year int, month int)

row format delimited

fields terminated by '|'

collection items terminated by ','

map keys terminated by ':'
 

新增分割槽

alter table table_name add partition (year=2017,month=6) partition (year=2017,month=7) partition (year=2018,month=8);

動態分割槽的新增(在新增資料時自動生成分割槽)

注意:使用者必須現制定一個靜態分割槽列

先確認配置為true

set hive.exec.dynamic.partition

確認為true後再修改 hive.exec.dynamic.paritition.mode=nonstrict

set hive.exec.dynamic.partition.mode=nonstrict
 

自動新增一個沒有的2018-9的分割槽

insert into table table_name partition (year=2018,month) values ('lisi','2018-8-12',8),('zhangsan','2018-9-10',9);

2.nonstrictHive 桶

對於每個表(table) 或者分割槽,hive 可以進一步組織成桶,也就是說桶時更為精細的資料範圍劃分.hive 也是針對某一列進行桶的組織. hive採用佇列值雜湊,然後除以桶的個數求餘的方式決定該條記錄存放在那個桶中

把表(或者分割槽)組織成桶有兩個理由:

(1)獲得更高的查詢處理效率.桶為表加上了額外的結構,hive 在處理有些查詢時利用這個結構,具體而言,連線兩個在相同列上劃分了桶的表,可以用map連線(map-side join) 高效的實現.比如join操作 對於join操作兩個表有一個相同的列,如果對這兩個表都進行了桶操作,那麼將儲存相同列值的通進行join操作就可以,可以大大減少join的資料量

(2)取樣更高效.在處理大規模資料集時,在開發和修改查詢的階段,如果能在資料集的一小部分資料上試執行查詢,會帶來很多方便

2.1語法

create table bucketed_user(

id int,name string)

clustered by (bucketed_user) into 2 buckets

row format delimited
fields terminated by '|'

collection items terminated by','

map keys terminated by ':'

stored as textfile; 

隨機抽樣基於整行資料

select * from table_name tablesample(bucket 3 out of 32 on rand()) s;

隨機抽樣基於指定列(使用分桶列更高效)

select * from table_name tablesample(bucket 3 out of 32 on id) s;

隨機抽樣基於block size

SELECT * FROM table_name TABLESAMPLE(10 PERCENT) s;

SELECT * FROM table_name TABLESAMPLE(1M) s;

SELECT * FROM table_name TABLESAMPLE(10 rows) s;

3.Hive 檢視常用操作

語法:

• 建立檢視: create view view_name as select statement;
• 建立檢視支援  CTE,ORDER BY,LIMIT,JOIN,etc
• 查詢檢視 show tables;(show views after hive v2.2.0)
• 顯示view :show create table view_name;
• 刪除檢視:drop view_name;
• 更改檢視屬性 :alter view view_name set tblproperties('comment'='This is view');
• 更改檢視定義:alter view view_name as select statement; 

Hive 排序

1. order by 會對資料進行全域性排序,和oracle和mysql等資料庫中的order by 效果一樣,他只在一個reduce中進行,所以資料量特別大的時候效率特別低
2. sort by 是單獨在各自的reduce中進行排序,所以並不能保證全域性排序,一般和distribute by一起執行,而且distribute by 要寫在sort by 前面
3. distribute by 會對指定的欄位按照hashCode值對reduce的個數取模,然後將任務分配到對應的reduce中去執行,就是在mapreduce程式中的patition分割槽過程,預設根據指定key.hashCode()確定處理該人物的reduce
4. cluster by :distribute by 和sort by 合用就相當於cluster by 但是 cluster不能指定排序asc或者desc的規則,只能是desc倒序排列

Hive 資料的匯入與匯出

load data 加 local 和不加local的區別
```local 是匯入本地檔案  採用複製方式
```不加local 是匯入hdfs資料  採用剪下
use school;
export table class to 'tmp/out'(先將表匯出到hdfs資料夾)
use school;
import table class2 from 'tmp/out'(再從dfs檔案中匯入新的表中)
HIVE 排序

row_number: 排名不重複,序號連續

rank:排名重複序號不連續

dense_rank:排名重複,序號連續