Hive的基本介紹以及常用函式
阿新 • • 發佈:2020-06-05
一、Hive的簡介:
Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的資料檔案對映為一張表,並提供類SQL查詢功能。
優點:
1) 操作介面採用類SQL語法,提供快速開發的能力(簡單、容易上手)。 2) 避免了去寫MapReduce,減少開發人員的學習成本。 3) Hive的執行延遲比較高,因此Hive常用於資料分析,對實時性要求不高的場合。 4) Hive優勢在於處理大資料,對於處理小資料沒有優勢,因為Hive的執行延遲比較高。 5) Hive支援使用者自定義函式,使用者可以根據自己的需求來實現自己的函式。
缺點:
1)Hive的HQL表達能力有限 2)Hive的效率比較低
二、Hive的架構圖
三、Hive的資料型別
基本資料型別: Hive資料型別 Java資料型別 TINYINT byte SMALINT short INT int BIGINT long BOOLEAN boolean FLOAT float DOUBLE double STRING string TIMESTAMP 時間型別 BINARY 位元組陣列 集合 STRUCT 和c語言中的struct類似,都可以通過“點”符號訪問元素內容。例如,如果某個列的資料型別是STRUCT{first STRING, last STRING},那麼第1個元素可以通過欄位.first來引用。
struct() 例如struct<street:string, city:string> MAP MAP是一組鍵-值對元組集合,使用陣列表示法可以訪問資料。例如,如果某個列的資料型別是MAP,其中鍵->值對是’first’->’John’和’last’->’Doe’,那麼可以通過欄位名[‘last’]獲取最後一個元素
map() 例如map<string, int> ARRAY 陣列是一組具有相同型別和名稱的變數的集合。這些變數稱為陣列的元素,每個陣列元素都有一個編號,編號從零開始。例如,陣列值為[‘John’, ‘Doe’],那麼第2個元素可以通過陣列名[1]進行引用。
Array() 例如array<string>
四、管理表和外部表
預設建立的表為管理表,有時也被稱為內部表。當我們刪除一個管理表時,Hive也會刪除這個表中資料。管理表不適合和其他工具共享資料。
新增關鍵字external建立的表是外部表,所以Hive並非認為其完全擁有這份資料。刪除該表並不會刪除掉這份資料,不過描述表的元資料資訊會被刪除掉。
#查詢表的型別 desc formatted stu; #修改內部表stu為外部表 alter table stuset tblproperties('EXTERNAL'='TRUE'); #修改外部表stu為內部表 alter table stuset tblproperties('EXTERNAL'='FALSE');
注意:('EXTERNAL'='TRUE')和('EXTERNAL'='FALSE')為固定寫法,區分大小寫!
清空表資料:
管理表:truncate table stu;
外部表:alter table stuset tblproperties('EXTERNAL'='FALSE'); 先改成內部表再執行清空:truncate table stu;
場景:每天將收集到的網站日誌定期流入HDFS文字檔案。在外部表(原始日誌表)的基礎上做大量的統計分析,用到的中間表、結果表使用內部表儲存,資料通過SELECT+INSERT進入內部表。
五、查詢常用函式
1,空欄位賦值
NVL( value,default_value)
2,when
case 欄位 when 值 then 替換值 else 替換值 end 同 if(boolean,值,另外值)
3,行轉列
CONCAT(string A/col, string B/col…):返回輸入字串連線後的結果,支援任意個輸入字串; CONCAT_WS(separator, str1, str2,...):它是一個特殊形式的 CONCAT()。第一個引數剩餘引數間的分隔符。分隔符可以是與剩餘引數一樣的字串。如果分隔符是 NULL,返回值也將為 NULL。這個函式會跳過分隔符引數後的任何 NULL 和空字串。分隔符將被加到被連線的字串之間; COLLECT_SET(col):函式只接受基本資料型別,它的主要作用是將某欄位的值進行去重彙總,產生array型別欄位。
4,列轉行
EXPLODE(col):將hive一列中複雜的array或者map結構拆分成多行。 LATERAL VIEW 用法:LATERAL VIEW udtf(expression) tableAlias AS columnAlias 解釋:用於和split, explode等UDTF一起使用,它能夠將一列資料拆成多行資料,在此基礎上可以對拆分後的資料進行聚合。
5,視窗函式
OVER():指定分析函式工作的資料視窗大小,這個資料視窗大小可能會隨著行的變而變化。 CURRENT ROW:當前行 n PRECEDING:往前n行資料 n FOLLOWING:往後n行資料 UNBOUNDED:起點,UNBOUNDED PRECEDING 表示從前面的起點, UNBOUNDED FOLLOWING表示到後面的終點 LAG(col,n,default_val):往前第n行資料 LEAD(col,n, default_val):往後第n行資料 NTILE(n):把有序分割槽中的行分發到指定資料的組中,各個組有編號,編號從1開始,對於每一行,NTILE返回此行所屬的組的編號。注意:n必須為int型別。
6,Rank
RANK() 排序相同時會重複,總數不會變 DENSE_RANK() 排序相同時會重複,總數會減少 ROW_NUMBER() 會根據順序計算
7,時間
#均只適合yyyy-MM-dd HH:mm:ss格式的時間,當然時分秒可以省略 date_format:格式化時間select date_format('2020-06-04','yyyy-MM');2020-06 date_add: 時間跟天數相加select date_add('2020-06-04',5);2020-06-09 date_sub: 時間跟天數相減select date_sub('2020-06-04',5);2020-05-30 datediff: 兩個時間相減select datediff('2020-06-04','2020-05-10');25 year: 獲取年select year('2020-06-04');2020 month: 獲取月份select month('2020-06-04');04 day: 獲取日select day('2020-06-04');04
格式轉換
regexp_replace: 欄位,原格式,替換的格式;select regexp_replace('2020/05/04','/','-');2020-05-04
<