Hive--HiveQL與SQL區別
阿新 • • 發佈：2019-02-17
1.hive內聯支援什麼格式？
2.分號字元注意什麼問題？
3.hive中empty是否為null?
4.hive是否支援插入現有表或則分割槽中？
5.hive是否支援INSERT INTO 表 values（）？
1、Hive不支援等值連線
•SQL中對兩表內聯可以寫成：
•select * from dual a,dual b where a.key = b.key;
•Hive中應為
•select * from dual a join dual b on a.key = b.key;
而不是傳統的格式：
SELECT t1.a1 as c1, t2.b1 as c2FROM t1, t2
WHERE t1.a2 = t2.b2
2、分號字元
•分號是SQL語句結束標記，在HiveQL中也是，但是在HiveQL中，對分號的識別沒有那麼智慧，例如：
•select concat(key,concat(';',key)) from dual;
•但HiveQL在解析語句時提示：
FAILED: Parse Error: line 0:-1 mismatched input '<EOF>' expecting ) in function specification
•解決的辦法是，使用分號的八進位制的ASCII碼進行轉義，那麼上述語句應寫成：
•select concat(key,concat('\073',key)) from dual;
3、IS [NOT] NULL
•SQL中null代表空值, 值得警惕的是, 在HiveQL中String型別的欄位若是空(empty)字串, 即長度為0, 那麼對它進行IS NULL的判斷結果是False.
4、Hive不支援將資料插入現有的表或分割槽中，
僅支援覆蓋重寫整個表，示例如下：
-
INSERT OVERWRITE TABLE t1
- SELECT * FROM t2;
5、hive不支援INSERT INTO 表 Values（）, UPDATE, DELETE操作
這樣的話，就不要很複雜的鎖機制來讀寫資料。
INSERT INTO syntax is only available starting in version 0.8。INSERT INTO就是在表或分割槽中追加資料。
6、hive支援嵌入mapreduce程式，來處理複雜的邏輯
如：
-
FROM (
-
MAP doctext USING 'python wc_mapper.py' AS (word, cnt)
-
FROM docs
-
CLUSTER BY word
-
) a
- REDUCE word, cnt USING 'python wc_reduce.py';
--doctext: 是輸入
--word, cnt: 是map程式的輸出
--CLUSTER BY: 將wordhash後，又作為reduce程式的輸入
並且map程式、reduce程式可以單獨使用，如：
-
FROM (
-
FROM session_table
-
SELECT sessionid, tstamp, data
-
DISTRIBUTE BY sessionid SORT BY tstamp
-
) a
- REDUCE sessionid, tstamp, data USING 'session_reducer.sh';
-DISTRIBUTE BY: 用於給reduce程式分配行資料
7、hive支援將轉換後的資料直接寫入不同的表，還能寫入分割槽、hdfs和本地目錄
這樣能免除多次掃描輸入表的開銷。
-
FROM t1
-
INSERT OVERWRITE TABLE t2
-
SELECT t3.c2, count(1)
-
FROM t3
-
WHERE t3.c1 <= 20
-
GROUP BY t3.c2
-
INSERT OVERWRITE DIRECTORY '/output_dir'
-
SELECT t3.c2, avg(t3.c1)
-
FROM t3
-
WHERE t3.c1 > 20 AND t3.c1 <= 30
-
GROUP BY t3.c2
-
INSERT OVERWRITE LOCAL DIRECTORY '/home/dir'
-
SELECT t3.c2, sum(t3.c1)
-
FROM t3
-
WHERE t3.c1 > 30
- GROUP BY t3.c2;