上次我們簡單說了一下Hive的工作原理，今天我們來深入看一下它是如何把Hql語句轉換為m/r來執行的。

1、編譯器

• 簡介

        Hive編譯器將一個Hive QL轉換操作符。操作符Operator是Hive的最小的處理單元，每個操作符代表HDFS的一個操作或者一道MapReduce作業。
  Operator都是hive定義的一個處理過程，其定義有：

  protected List <Operator<? extends Serializable >> childOperators; 
  protected List <Operator<? extends Serializable >> parentOperators; 
  protected
   
   boolean done;   // 初始化值為false

        所有的操作構成了Operator圖，hive正是基於這些圖關係來處理諸如limit, group by, join等操作。

  

• 執行流程

  

2、轉換過程

Antlr定義SQL的語法規則，完成SQL詞法，語法解析，將SQL轉化為抽象語法樹AST Tree

遍歷AST Tree，抽象出查詢的基本組成單元QueryBlock

遍歷QueryBlock，翻譯為執行操作樹OperatorTree

邏輯層優化器進行OperatorTree變換，合併不必要的

ReduceSinkOperator，減少shuffle資料量
 

遍歷OperatorTree，翻譯為MapReduce任務
物理層優化器進行MapReduce任務的變換，生成最終的執行計劃

3、具體實現

• Join的實現原理

  select u.name, o.orderid from order o join user u on o.uid = u.uid;

        在map的輸出value中為不同表的資料打上tag標記，在reduce階段根據tag判斷資料來源。MapReduce的過程如下（這裡只是說明最基本的Join的實現，還有其他的實現方式）

  

• Group By的實現原理

  select rank, isonline, count
   
  (*) from city group by rank, isonline;

        將GroupBy的欄位組合為map的輸出key值，利用MapReduce的排序，在reduce階段儲存LastKey區分不同的key。MapReduce的過程如下（當然這裡只是說明Reduce端的非Hash聚合過程）

  

• Distinct的實現原理

  select dealid, count(distinct uid) num from order group by dealid;

        當 只有一個distinct欄位時，如果不考慮Map階段的Hash GroupBy，只需要將GroupBy欄位和Distinct欄位組合為map輸出key，利用mapreduce的排序，同時將GroupBy欄位作 為reduce的key，在reduce階段儲存LastKey即可完成去重

  

總結：

      我們從認識Hive到理解它的執行原理，已經對其有了一定的瞭解。當然在實際應用中還會遇到各種問題，只要我們堅持去做，就沒有什麼做不到的。