1. 程式人生 > >impala的工作原理的詳解(圖文)

impala的工作原理的詳解(圖文)

工作原理:

     impala屬於Cloudera,基於記憶體的,可使用者實時的互動式查詢。Cloudera建議Impala叢集記憶體最少128G,Impalad與DataNode執行在同一節點上

impalaHivemetastore database相整合,這兩個元件之間可以共享databasetable

如圖所示,Impala主要由Impalad State StoreCLI組成。

Impalad: DataNode執行在同一節點上,由Impalad程序表示,它接收客戶端的查詢請求(接收查詢請求的ImpaladCoordinatorCoordinator

通過JNI呼叫java前端解釋SQL查詢語句,生成查詢計劃樹,再通過排程器把執行計劃分發給具有相應資料的其它Impalad進行執行),讀寫資料,並行執行查詢,並把結果通過網路流式的傳送回給Coordinator,由Coordinator返回給客戶端。同時Impalad也與State Store保持連線,用於確定哪個Impalad是健康和可以接受新的工作。在Impalad中啟動三個ThriftServer: beeswax_server(連線客戶端),hs2_server(借用Hive元資料), be_serverImpalad內部使用)和一個ImpalaServer服務。