hive中不能直接訪問非group by 的欄位

注意： 如果出現 Expression not in GROUP BY key 可以使用 collect_set()返回array陣列**。

任何時候,考慮是不是要用distinct

注意 : 在檢索資料時,尤其是在JOIN,count(*)時,要多考慮要不要去重,有時如果忽略掉distinct會造成引發大量MR。

hive中NULL 和 “”

以前一個案例，引發的思考
表結構:
  a      int
  b      string
  c      int
  d      string
資料:
  \N,\N
  \N,
  ,\N
  ,,
  ,,,

執行select返回結果

總結 : int 型別，只要不能成功轉換，必然返回NULL;string型別，如果指定為NULL或者沒有預值位置(資料前三行ｄ欄位)，均為NULL,否則”“

原因： hive是java編寫的，int型別底層可能是Integer，所以不存在為NULL,轉換失敗為NULL,而string為了區分是否提供過值(預留空位)，有三種狀態：NULL,”“,value。具體需要意會下，不易表述。

載入資料時，最大限度確保資料格式的正確性

經驗來自 :分析汽車銷售

分析汽車銷售時，源資料為xls，在轉換csv時，直接將資料拿去用了 但是，在深度分析資料時，發現在轉換過程中，有資料有偏差，原本以行的資料，在分割完成後，出現兩行資料。

一行資料，但是資料中間出現^M導致變成兩行資料。
進一步察看，發現是在轉換資料的時候出現問題：

源資料：

轉換後資料：

hive中查詢資料行數：

總結　資料每一輪轉換時，儘量要驗證資料正確性，盡最大降低誤差率。好彆扭，應該是轉碼過程共，漢字組成^M了。

內建函式regexp_extract(STRING subject,STRING regex_pattern,STRING index)

此方法和java 中的正則匹配類似,分析一個java程式碼.

        Pattern p = Pattern.compile("([a-zA-Z]*)@([a-zA-Z]*.[a-zA-Z]*)");
        Matcher m = p.matcher("[email protected]");
        if (m.matches()) {
         email = m.group(0);
         user = m.group(1);
         hostname = m.group(2);
        }

很清楚了,後面的index為第幾個子表示式
注:正則中  (pattern) 是匹配 pattern 並捕獲該匹配的子表示式

UDF注意問題

add jar 時,將jar包載入到當前terminal會話記憶體中,當退出後,從記憶體銷燬;

create temporary function 也是存在當前會話記憶體中,會隨會話銷燬.

create function 是將結構村到mysql中

除錯 UDF時,最好先退出當前會話再進入;