Hive小技巧及優化
阿新 • • 發佈:2019-03-14
字段 使用 表達 ofo ring gem follow 可用 pri 查詢除了ds 和 hr 之外的所有列
SELECT
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select#LanguageManualSelect-REGEXColumnSpecification
修改表生命周期(ODPS)
ALTER TABLE table_name SET lifecycle days;
正則匹配
匹配除“n”之外的任何單個字符。要匹配包括“n”在內的任何字符,請使用像“(.|\n)”的模式。
解析執行過程
explain
效率優化
數據傾斜
count(distinct ) 效率低下,數據傾斜,改用 group by 優化
遇到的坑
查詢空值
例 字段 A 有三種取值 Y , N , null (空值)
我想取 N 與 null ,如果查詢條件為 <> ‘Y’ ,是查不出 null 的
應該這麽寫 A <> ‘Y’ or A is null
其他
快速編輯
vscode中
選擇多行
option + shift + 鼠標左鍵
編輯每行的末尾或者開頭
使用正則表達式進行替換 開頭 ^ ,末尾 $
歡迎工作一到五年的Java工程師朋友們加入Java架構師:697558955
群內提供免費的Java架構學習資料(裏面有高可用、高並發、高性能及分布式、Jvm性能調優、Spring源碼,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構資料)合理利用自己每一分每一秒的時間來學習提升自己,不要再用"沒有時間“來掩飾自己思想上的懶惰!趁年輕,使勁拼,給未來的自己一個交代!
SELECT
(ds|hr)?+.+
FROM saleshttps://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select#LanguageManualSelect-REGEXColumnSpecification
修改表生命周期(ODPS)
ALTER TABLE table_name SET lifecycle days;
正則匹配
匹配除“n”之外的任何單個字符。要匹配包括“n”在內的任何字符,請使用像“(.|\n)”的模式。
解析執行過程
explain
效率優化
數據傾斜
count(distinct ) 效率低下,數據傾斜,改用 group by 優化
查詢空值
例 字段 A 有三種取值 Y , N , null (空值)
我想取 N 與 null ,如果查詢條件為 <> ‘Y’ ,是查不出 null 的
應該這麽寫 A <> ‘Y’ or A is null
其他
快速編輯
vscode中
選擇多行
option + shift + 鼠標左鍵
編輯每行的末尾或者開頭
使用正則表達式進行替換 開頭 ^ ,末尾 $
歡迎工作一到五年的Java工程師朋友們加入Java架構師:697558955
群內提供免費的Java架構學習資料(裏面有高可用、高並發、高性能及分布式、Jvm性能調優、Spring源碼,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構資料)合理利用自己每一分每一秒的時間來學習提升自己,不要再用"沒有時間“來掩飾自己思想上的懶惰!趁年輕,使勁拼,給未來的自己一個交代!
Hive小技巧及優化