2. 程式人生 > >Hive整合HBase詳解

Hive整合HBase詳解

阿新 • • 發佈：2019-01-20
  • 在Hive下檢視資料
  1. hive>select*from hbase_table_1;
  2. TotalMapReduce jobs
  3. LaunchingJobout
  4. ...
  5. OK
  6. {"val_100":}
  7. {"val_98":}
  8. Time taken:3.808 seconds
注意:由於map中的key是作為HBase的列名使用的，所以map中的key型別必須為String型別 以下對映語句都會報錯 1.
  1. CREATE TABLE hbase_table_1(key int, value map<int,int>)
  2. STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
  3. WITH SERDEPROPERTIES (
  4. "hbase.columns.mapping"=":key,cf:"
  5. );
原因：map中的key必須是String 2.
  1. CREATE TABLE hbase_table_1(key int, value string)
  2. STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
  3. WITH SERDEPROPERTIES (
  4. "hbase.columns.mapping"=":key,cf:"
  5. );
原因：當hbase.columns.mapping中的列族後面為空時(形如cf:),說明在Hive中其對應的資料型別為map，而這條語句中對應的是String所以報錯 5.Hive還支援簡單的複合行鍵
如下：建立一張指向HBase的Hive表，行鍵有兩個欄位，欄位之間使用~分隔
  1. CREATE EXTERNAL TABLE delimited_example(key struct<f1:string, f2:string>, value string)
  2. ROW FORMAT DELIMITED
  3. COLLECTION ITEMS TERMINATED BY '~'
  4. STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
  5. WITH SERDEPROPERTIES (
  6. 'hbase.columns.mapping'=':key,f:c1'
    );

相關推薦

Hive整合HBase詳解

在Hive下檢視資料 hive>select*from hbase_table_1;TotalMapReduce jobsLaunchingJobout...OK{"val_100":}{"val_98":}Time taken:3.808 seconds 注意:由於map中的key是作為H

大數據學習系列之五 ----- Hive整合HBase圖文詳解

scala direct ont 增加 pac hadoop2 exe dfs- min 引言 在上一篇 大數據學習系列之四 ----- Hadoop+Hive環境搭建圖文詳解(單機) 和之前的大數據學習系列之二 ----- HBase環境搭建(單機) 中成功搭建了Hive

Thinking in BigData（八）大資料Hadoop核心架構HDFS+MapReduce+Hbase+Hive內部機理詳解

      純乾貨：Hadoop核心架構HDFS+MapReduce+Hbase+Hive內部機理詳解。       通過這一階段的調研總結，從內部機理的角度詳細分析，HDFS、MapReduce、Hbase、Hive是如何執行，以及基於Hadoop資料倉庫的構建和分散式資

008-Hadoop Hive sql語法詳解3-DML 操作:元數據存儲

pan 查詢 寫入 所有 not insert語句 int 寫入文件 文件系統 一、概述 hive不支持用insert語句一條一條的進行插入操作，也不支持update操作。數據是以load的方式加載到建立好的表中。數據一旦導入就不可以修改。 DML包括：INSERT插入

Hive UDAF開發詳解

-s 聚合 而且 pri ros cal 關系 方法調用 evaluator 明這篇文章是來自Hadoop Hive UDAF Tutorial - Extending Hive with Aggregation Functions：的不嚴格翻譯，因為翻譯的文章示例寫得比較

017-Hadoop Hive sql語法詳解7-去重排序、數據傾斜

col 去重排序 sel cluster 可能 更多 分發 指定 clust 一、數據去重排序 1.1、去重 　　distinct與group by 　　盡量避免使用distinct進行排重，特別是大表操作，用group by代替　　 -- 不建議 selec

016-Hadoop Hive sql語法詳解6-job輸入輸出優化、數據剪裁、減少job數、動態分區

分享 hive table 取數 nbsp put union 正在 style 一、job輸入輸出優化 善用muti-insert、union all，不同表的union all相當於multiple inputs，同一個表的union all，相當map一次輸出多條

Spring MVC整合Velocity詳解

springmvcvelocity一、Velocity簡介Velocity是一個基於java的模板引擎（template engine）。它允許任何人僅僅簡單的使用模板語言（template language）來引用由java代碼定義的對象。當Velocity應用於web開發時，界面設計人員可以和java程序

Hadoop之Hbase詳解

1、什麼是Hbase 　　HBASE是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統， 　　hbase是列式的分散式資料庫 　　1.2、HBASE優勢： 　　　　1）線性擴充套件，隨著資料量增多可以通過節點擴充套件進行支撐 　　　　2）資料儲存在hdfs上，備份機制健全 　　　　3）通過zookeep

springboot 整合quartz詳解

本文主要是針對springboot 整合quartz 來說明，作為一個小白我總喜歡上網查詢資料，然後希望找的東西能80%符合自己的需求，能直接拿來用的，但是很多時候網上的案例都是一個copy一個的，看的東西千篇一律，而且有些內容解釋的也是寥寥數語，所以有時候也需要自己寫點東西分享給大眾，今天也是自己

大資料篇：Hive的安裝詳解

hive是什麼？ 由facebook開源，用於解決海量結構化日誌的資料統計； 基於hadoop的一個數據倉庫工具，使用HDFS進行儲存並將結構化資料檔案對映成一張表，並提供類sql查詢的功能，其底層採用MR進行計算； 本質是將HQL轉化成MR程式。

Hortonwork Ambari配置Hive整合Hbase的java開發maven配置

叢集環境 ambari 2.7.3 hdp/hortonwork 2.6.0.3 maven 1 <dependency> 2 <groupId>org.apache.hive</groupId> 3 <ar

HIVE儲存格式詳解

目前hive常用的儲存格式 STORED AS (TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet) TEXTFILE, SEQUENCEFILE, RCFILE, ORC, PARQUET, AVRO 下面是他們的詳細對比：

Hive分割槽partition詳解

請看原文作者的部落格： https://blog.csdn.net/qq_36743482/article/details/78418343 我補充的是： 外部表的分割槽 ： create external table t2( id int ,name

Spring Boot 整合 FreeMarker 詳解案例

一、Springboot 那些事 SpringBoot 很方便的整合 FreeMarker ，DAO 資料庫操作層依舊用的是 Mybatis，本文將會一步一步到來如何整合 FreeMarker 以及配置的詳解 二、執行 springboot-freemarker 工程 1.資

Hadoop Hive sql語法詳解

Hive 是基於Hadoop 構建的一套資料倉庫分析系統，它提供了豐富的SQL查詢方式來分析儲存在Hadoop 分散式檔案系統中的資料，可以將結構化的資料檔案對映為一張資料庫表，並提供完整的SQL查詢功能，可以將SQL語句轉換為MapReduce任務進行執行，通過自己的SQL

Hive整合HBase --解決版本衝突

筆者使用的是0.99.2這個版本的hbase. 第一步 ： 拷貝hbase的jar包到hive 需要hbase下面的jar包到hive的lib目錄下 hbase-client-0.99.2.jar hbase-common-0.99.2.jar hbase-server-0.99

SSM框架整合配置詳解(spring,spring mvc,mybatis)

當今SSM框架已經成為了一種主流,其中spring,spring mvc和mybatis框架的功能很強大,給我們程式設計師節省了很多力氣,可以說這三種框架簡直就是我們程式設計師的福音,但是我們都知道,框架在自身帶來便捷的同時,也存在很多的配置檔案,更別說當三個框架整合的時候那就更加的困難了,

Hive 整合Hbase

1、摘要 Hive提供了與HBase的整合，使得能夠在HBase表上使用HQL語句進行查詢 插入操作以及進行Join和Union等複雜查詢、同時也可以將hive表中的資料對映到Hbase中。 2、應用場景 2.1 將ETL操作的資料存入HBase 2.2 HBase作為Hive

Spring mvc整合freemarker詳解

1.什麼是FreeMarker FreeMarker是一個模板引擎，一個基於模板生成文字輸出的通用工具，使用純Java編寫 FreeMarker被設計用來生成HTML Web頁面，特別是基於MVC模式的應用程式 雖然FreeMarker具有一些程式設計的能力，但