1. 程式人生 > >Hive Over HBase的介紹

Hive Over HBase的介紹

Hive Over HBase是基於Hive的HQL查詢引擎支援對hbase表提供及時查詢的功能,它並不是將hql語句翻譯成mapreduce來執行,其響應時間在秒級別。

特性

支援的欄位型別:

boolean, tinyint, smallint, int, bigint, float, double, string, struct
(當hbase中的rowkey欄位為struct型別,請將子欄位定義為string型別,同時指定表的collection items terminated分隔字元以及各欄位的長度引數:hbase.rowkey.column.length)

支援的sql語法:

  • where子句
  • group by,having子句
  • 聚合函式: count, max, min, sum, avg
  • order by with limit(top N)
  • limit 子句
  • explain

支援的運算

  • 關係操作:>, >=, <=, <, =
  • 算術操作:+, - , * , / , %
  • 邏輯操作:and, or, not
  • 字串操作函式: substring, concat
  • Distinct : 支援select distinct <col-list> from <tab> where <expr>, select aggr-fun(distinct <col_list>) from <tab> where <expr>
  • Like: 萬用字元’_’, ’%’
  • Case when子句

不支援:

  • Sub-query
  • Join
  • Union

原理

擴充套件HBase客戶端程式碼,實現簡單聚合計算,基於協作器實現分組計算的功能,並且修改hive的查詢引擎,將HQL語句轉換成HBase的Task,然後呼叫HBase中的api實現對HQL語句的解析。

原始碼

暫時不公開。

轉載: http://blog.javachen.com/2014/06/12/intro-of-hive-over-hbase/

相關推薦

Hive Over HBase介紹

Hive Over HBase是基於Hive的HQL查詢引擎支援對hbase表提供及時查詢的功能,它並不是將hql語句翻譯成mapreduce來執行,其響應時間在秒級別。 特性 支援的欄位型別: boolean, tinyint, smallint, int, bigint, float, double,

Hive over HBaseHive over HDFS效能比較分析

http://superlxw1234.iteye.com/blog/2008274環境配置:hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node)hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/

hive over hbase方式將文字庫資料匯入hbase

1,建立hbase表Corpus >> create 'Corpus','CF' 2,建立hive->hbase外表logic_Corpus,並對應hbase中的Corpus表 >> CREATE EXTERNAL TABLE logic_Co

HiveHbase的區別

缺點 每一個 oop 設備 actions 利用 計數 映射 編寫 1. 兩者分別是什麽? Apache Hive是一個構建在Hadoop基礎設施之上的數據倉庫。通過Hive可以使用HQL語言查詢存放在HDFS上的數據。HQL是一種類SQL語言,這種語言最終被轉化為M

Hive vs. HBase

turned mount ont utm orm into book cal operation Hive vs. HBase By Saggi Neumann Big Data May 26, 2014 C

Hive VS Hbase

不同的 集合 所有 更新行 最終 hdfs googl 可能 進一步 1. 兩者分別是什麽? Apache Hive是一個構建在Hadoop基礎設施之上的數據倉庫。通過Hive可以使用HQL語言查詢存放在HDFS上的數據。HQL是一種類SQL語言,這種語言最終被轉化為

大數據學習系列之五 ----- Hive整合HBase圖文詳解

scala direct ont 增加 pac hadoop2 exe dfs- min 引言 在上一篇 大數據學習系列之四 ----- Hadoop+Hive環境搭建圖文詳解(單機) 和之前的大數據學習系列之二 ----- HBase環境搭建(單機) 中成功搭建了Hive

淺談HiveHBase區別

但是 hql 應該 hdf 目前 http 返回 最重要的 hadoop基礎 出處: http://www.cnblogs.com/zlslch/p/5659641.html . 兩者分別是什麽?   Apache Hive是一個構建在Hadoop基礎設施之上的數

hivehbase

mapreduce UC 位置 轉載 獲得 協作 reduce answer 大數據架構 作者:有點文鏈接:https://www.zhihu.com/question/21677041/answer/185664626來源:知乎著作權歸作者所有。商業轉載請聯系作者獲得授權

hivehbase關聯表的創建,外表方式

內部 col 屬於 cal key IT detail form 內部表 1.在Hive裏面創建一個表: hive> create table wyp(id int, > name string, > age int, > tel

Hive 體系結構介紹

led 一個 base 可擴展性 ask back pan 二進制格式 bject 下面是Hive的架構圖。 圖1.1 Hive體系結構 Hive的體系結構可以分為以下幾部分: (1)用戶接口主要有三個:CLI,Client 和 WUI。其中最常用的是C

全網最詳細的hive-site.xml配置文件裏如何添加達到HiveHBase的集成,即Hive通過這些參數去連接HBase(圖文詳解)

out 開源精神 http FN image ava ext 必須 .cn   不多說,直接上幹貨!   一般,普通的情況是    <configuration>   <property>   

hivehbase 結合

next pos jobs maven int info XP .com .org 一、hive與hbase的結合Hive會經常和Hbase結合使用,把Hbase作為Hive的存儲路徑,所以Hive整合Hbase尤其重要。使用Hive讀取Hbase中的數據,可以使用HQL語

hadoop、hivehbase的理解

線數據 -c 選擇 ive hbase 而不是 led 完成 ear hadoop是一個分布式計算+分布式文件系統,前者其實就是MapReduce,後者是HDFS。後者可以獨立運行,前者可以選擇性使用,也可以不使用。 hive是一個構建在Hadoop

Hortonwork Ambari配置Hive整合Hbase的java開發maven配置

叢集環境 ambari 2.7.3 hdp/hortonwork 2.6.0.3 maven 1 <dependency> 2 <groupId>org.apache.hive</groupId> 3 <ar

Hadoop HiveHbase整合+thrift

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!        

Sqoop與HDFS、HiveHbase等系統的資料同步操作

Sqoop與HDFS結合         下面我們結合 HDFS,介紹 Sqoop 從關係型資料庫的匯入和匯出。 Sqoop import        

把kafka資料從hbase遷移到hdfs,並按天載入到hive表(hbase與hadoop為不同叢集)

需求:由於我們用的阿里雲Hbase,按儲存收費,現在需要把kafka的資料直接同步到自己搭建的hadoop叢集上,(kafka和hadoop叢集在同一個區域網),然後對接到hive表中去,表按每天做分割槽 一、首先檢視kafka最小偏移量(offset) /usr/local/kafka/bin/k

大資料之Spark(八)--- Spark閉包處理,部署模式和叢集模式,SparkOnYarn模式,高可用,Spark整合Hive訪問hbase類載入等異常解決,使用spark下的thriftserv

一、Spark閉包處理 ------------------------------------------------------------ RDD,resilient distributed dataset,彈性(容錯)分散式資料集。 分割槽列表,function,dep Op

hive to hbase

-- hive -e 'show create table grades' > table CREATE TABLE `mydb.grades`(   `id` int COMMENT 'ID',    `name` string COMMENT '姓名',&nb