1. 程式人生 > >hive簡介與架構

hive簡介與架構

hive概述

Apache Hive™資料倉庫軟體有助於使用SQL讀取,編寫和管理駐留在分散式儲存中的大型資料集。
可以將結構投影到已儲存的資料中。提供了命令列工具和JDBC驅動程式以將使用者連線到Hive。

資料計算:mapreduce分散式計算­>難度大
hive­>SQL語句 mysql 簡化開發 減少學習成本

優缺點

優點:
(1)操作介面採用了sql,簡化開發,減少學習成本
(2)避免手寫mapreduce程式
(3)hive執行延遲較高,適用場景大多用在對實時性要求不強的情景
(4)優點在於處理大資料
(5)支援自定義函式
缺點:
(1)hive的sql表達能力有限(HSQl)
(2)hive效率低

hive架構

提供了一系列介面:hive shell、jdbc/odbc、webui

在這裡插入圖片描述

hive預設把元資料儲存到derby中,這是hive自帶的,但是不支援多個使用者去使用,這裡要換成Mysql

sql語句首先通過元資料找到表位置,然後經過解析器編譯器,通過優化器來告訴執行器是否需要轉為mapreduce程式來執行