2. 程式人生 > >Hive連線Hbase操作資料

Hive連線Hbase操作資料

阿新 • • 發佈：2018-11-27

Hive連線Hbase操作資料

 

版權宣告：本文為博主原創文章，未經博主允許不得轉載。轉載請註明來自http://blog.csdn.net/lr131425 https://blog.csdn.net/lr131425/article/details/72722932

Hive整合HBase原理

Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合資料倉庫的統計分析。

Hive與HBase整合的實現是利用兩者本身對外的API介面互相進行通訊，相互通訊主要是依靠Hive安裝包lib/hive-hbase-handler.jar工具類，它負責Hbase和Hive進行通訊的。

 

hadoop，hbase，hive都已經叢集正常安裝。

hadoop，hbase，hive都已正常啟動。

 

命令列模式連線連線hbase   

[[email protected] bin]# ./hbase shell

list 看下table

 

 

  1. hbase(main):006:0* list

  2. TABLE

  3. test

  4. user

  5. 2 row(s) in 0.4750 seconds

看下錶結構

 

 

  1. hbase(main):007:0> describe 'user'

  2. Table user is ENABLED

  3. user

  4. COLUMN FAMILIES DESCRIPTION

  5. {NAME => 'account', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEE

  6. P_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}

  7. {NAME => 'address', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEE

  8. P_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}

  9. {NAME => 'info', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP_D

  10. ELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}

  11. {NAME => 'userid', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP

  12. _DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}

  13. 4 row(s) in 0.7020 seconds

  14.  

 

然後掃描user表資料看看。

 

 

  1. hbase(main):004:0> scan 'user'

  2. ROW COLUMN+CELL

  3. lisi column=account:name, timestamp=1495708477345, value=lisi

  4. lisi column=account:passport, timestamp=1495708477353, value=96857123123231

  5. lisi column=account:password, timestamp=1495708477349, value=654321

  6. lisi column=address:city, timestamp=1495708477381, value=\xE6\xB7\xB1\xE5\x9C\xB3

  7. lisi column=address:province, timestamp=1495708477377, value=\xE5\xB9\xBF\xE4\xB8\x9C

  8. lisi column=info:age, timestamp=1495708477358, value=38

  9. lisi column=info:sex, timestamp=1495708477363, value=\xE5\xA5\xB3

  10. lisi column=userid:id, timestamp=1495708477330, value=002

  11. zhangsan column=account:name, timestamp=1495708405658, value=zhangsan

  12. zhangsan column=account:passport, timestamp=1495708405699, value=968574321

  13. zhangsan column=account:password, timestamp=1495708405669, value=123456

  14. zhangsan column=address:city, timestamp=1495708405773, value=\xE6\xB7\xB1\xE5\x9C\xB3

  15. zhangsan column=address:province, timestamp=1495708405764, value=\xE5\xB9\xBF\xE4\xB8\x9C

  16. zhangsan column=info:age, timestamp=1495708405712, value=26

  17. zhangsan column=info:sex, timestamp=1495708405755, value=\xE7\x94\xB7

  18. zhangsan column=userid:id, timestamp=1495708405444, value=001

  19. 2 row(s) in 0.2020 seconds

 

在hive/bin中執行hive命令列模式

[[email protected] bin]# ./hive

執行建立關聯hbase關聯語句hbase_user表

會發現有報錯：return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:org.apache.hadoop.hbase.client.RetriesExhaustedException: Can't get the locations

 

 

  1. hive> CREATE EXTERNAL TABLE hbase_user(key string, idcard string,passport string,country string,name string,password string,

  2. > province string,city string,age string,sex string ,id string)

  3. > STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

  4. > WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,account:idcard,account:passport,account:country,account:name,account:password,

  5. > address:province,address:city,info:age,info:sex,userid:id")

  6. > TBLPROPERTIES("hbase.table.name" = "user");

  7. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:org.apache.hadoop.hbase.client.RetriesExhaustedException: Can't get the locations

  8. at org.apache.hadoop.hbase.client.RpcRetryingCallerWithReadReplicas.getRegionLocations(RpcRetryingCallerWithReadReplicas.java:312)

  9. at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas.call(ScannerCallableWithReplicas.java:153)

  10. at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas.call(ScannerCallableWithReplicas.java:61)

  11. at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:200)

  12. at org.apache.hadoop.hbase.client.ClientScanner.call(ClientScanner.java:320)

  13. at org.apache.hadoop.hbase.client.ClientScanner.nextScanner(ClientScanner.java:295)

  14. at org.apache.hadoop.hbase.client.ClientScanner.initializeScannerInConstruction(ClientScanner.java:160)

  15. at org.apache.hadoop.hbase.client.ClientScanner.<init>(ClientScanner.java:155)

  16. at org.apache.hadoop.hbase.client.HTable.getScanner(HTable.java:811)

  17. at org.apache.hadoop.hbase.MetaTableAccessor.fullScan(MetaTableAccessor.java:602)

  18. at org.apache.hadoop.hbase.MetaTableAccessor.tableExists(MetaTableAccessor.java:366)

  19. at org.apache.hadoop.hbase.client.HBaseAdmin.tableExists(HBaseAdmin.java:303)

  20. at org.apache.hadoop.hbase.client.HBaseAdmin.tableExists(HBaseAdmin.java:313)

  21. at org.apache.hadoop.hive.hbase.HBaseStorageHandler.preCreateTable(HBaseStorageHandler.java:205)

  22. at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:742)

  23.  

can not get location 以及下面的日誌 應該是連不上hbase，用jps檢視下hbase的執行情況

 

 

  1. [[email protected] conf]# jps

  2. 3945 HMaster

  3. 18681 RunJar

  4. 2699 NameNode

  5. 3330 NodeManager

  6. 2951 SecondaryNameNode

  7. 3226 ResourceManager

  8. 3874 HQuorumPeer

  9. 18901 Jps

發現一切正常

接著檢視下hive日誌發現： 都是zookeeper連線失敗 

 Opening socket connection to server localhost/127.0.0.1:2181

 

 

  1. 2017-05-25T03:06:12,259 INFO [9b1835d1-6488-4521-99d5-88d3e786be46 main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)

  2. 2017-05-25T03:06:12,260 WARN [9b1835d1-6488-4521-99d5-88d3e786be46 main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect

  3. java.net.ConnectException: Connection refused

  4. at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)

  5. at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)

  6. at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361)

  7. at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081)

  8. 2017-05-25T03:06:13,362 INFO [9b1835d1-6488-4521-99d5-88d3e786be46 main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)

  9. 2017-05-25T03:06:13,363 WARN [9b1835d1-6488-4521-99d5-88d3e786be46 main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect

  10. java.net.ConnectException: Connection refused

  11. at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)

  12. at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)

  13. at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361)

  14. at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081)

  15. 2017-05-25T03:06:13,465 INFO [9b1835d1-6488-4521-99d5-88d3e786be46 main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)

  16. 2017-05-25T03:06:13,466 WARN [9b1835d1-6488-4521-99d5-88d3e786be46 main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect

  17. java.net.ConnectException: Connection refused

  18. at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)

  19. at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:739)

  20. at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361)

  21. at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081)

  22. 2017-05-25T03:06:14,568 INFO [9b1835d1-6488-4521-99d5-88d3e786be46 main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)

  23. 2017-05-25T03:06:14,569 WARN [9b1835d1-6488-4521-99d5-88d3e786be46 main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect

  24.  

去看下hive-site.xml的配置檔案，配置上

 

 

  1. <property>

  2. <name>hive.zookeeper.quorum</name>

  3. <value>master,node1,node2</value>

  4. <description>

  5. List of ZooKeeper servers to talk to. This is needed for:

  6. 1. Read/write locks - when hive.lock.manager is set to

  7. org.apache.hadoop.hive.ql.lockmgr.zookeeper.ZooKeeperHiveLockManager,

  8. 2. When HiveServer2 supports service discovery via Zookeeper.

  9. 3. For delegation token storage if zookeeper store is used, if

  10. hive.cluster.delegation.token.store.zookeeper.connectString is not set

  11. 4. LLAP daemon registry service

  12. </description>

  13. </property>

 

  1. <property>

  2. <name>hive.zookeeper.client.port</name>

  3. <value>2181</value>

  4. <description>

  5. The port of ZooKeeper servers to talk to.

  6. If the list of Zookeeper servers specified in hive.zookeeper.quorum

  7. does not contain port numbers, this value is used.

  8. </description>

  9. </property>


而 hbase叢集中的用zookeeper的預設的埠是2222，所以為了埠統一，     把hbase-site.xml中的改成2181，記得重啟服務

或者直接  把hbase-site.xml 複製到hive的conf目錄下，hive會讀取hbase的zookeeper的 zookeeper.quorum和 zookeeper.port

兩種方法都可以解決問題


接著在hive中再次執行 create table語句

 

 

  1. hive> CREATE EXTERNAL TABLE hbase_user(key string, idcard string,passport string,country string,name string,password string,

  2. > province string,city string,age string,sex string ,id string)

  3. > STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

  4. > WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,account:idcard,account:passport,account:country,account:name,account:password,

  5. > address:province,address:city,info:age,info:sex,userid:id")

  6. > TBLPROPERTIES("hbase.table.name" = "user");

  7. OK

  8. Time taken: 20.323 seconds

  9. hive> show tables;

  10. OK

  11. apachelog

  12. hbase_user

  13. Time taken: 2.75 seconds, Fetched: 2 row(s)


執行成功，

接著用hiveql查詢下資料

 

 

  1. hive> select * from hbase_user;

  2. OK

  3. lisi NULL 96857123123231 NULL lisi 654321 廣東 深圳 38 女 002

  4. zhangsan NULL 968574321 NULL zhangsan 123456 廣東 深圳 26 男 001

  5. Time taken: 5.798 seconds, Fetched: 2 row(s)

  6. hive> describe hbase_user;

  7. OK

  8. key string

  9. idcard string

  10. passport string

  11. country string

  12. name string

  13. password string

  14. province string

  15. city string

  16. age string

  17. sex string

  18. id string

  19. Time taken: 3.785 seconds, Fetched: 11 row(s)

  20. hive> select key ,idcard,password,country,name, passport,province,city,age,sex,id from hbase_user;

  21. OK

  22. lisi NULL 654321 NULL lisi 96857123123231 廣東 深圳 38 女 002

  23. zhangsan NULL 123456 china zhangsan 968574321 廣東 深圳 26 男 001

  24. Time taken: 2.341 seconds, Fetched: 2 row(s)

..null 是因為 hbase的column沒有設定idcard欄位值，和 country的值所以是為null

給hbase 表 user設定country看看，和idcard

./hbase shell

 

 

  1. hbase(main):003:0> put 'user','zhangsan','account:idcard','420923156366998855';

  2. hbase(main):004:0* put 'user','lisi','account:idcard','520369856366998855';

  3. hbase(main):005:0* put 'user','lisi','account:country','china';

 

 

  1. hive> select key ,idcard,password,country,name, passport,province,city,age,sex,id from hbase_user;

  2. OK

  3. lisi 520369856366998855 654321 china lisi 96857123123231 廣東 深圳 38 女 002

  4. zhangsan 420923156366998855 123456 china zhangsan 968574321 廣東 深圳 26 男 001

  5. Time taken: 2.388 seconds, Fetched: 2 row(s)

  6. hive> select * from hbase_user where name='zhangsan';

  7. OK

  8. zhangsan 420923156366998855 968574321 china zhangsan 123456 廣東 深圳 26 男 001

  9. Time taken: 2.651 seconds, Fetched: 1 row(s)

  10. hive> select count(key) from hbase_user;

  11. WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases.

  12. Query ID = root_20170525040249_f808c765-79f6-43c0-aa94-ebfed7751091

  13. Total jobs = 1

  14. Launching Job 1 out of 1

  15. Number of reduce tasks determined at compile time: 1

  16. In order to change the average load for a reducer (in bytes):

  17. set hive.exec.reducers.bytes.per.reducer=<number>

  18. In order to limit the maximum number of reducers:

  19. set hive.exec.reducers.max=<number>

  20. In order to set a constant number of reducers:

  21. set mapreduce.job.reduces=<number>

  22. Starting Job = job_1495621107567_0001, Tracking URL = http://master:8088/proxy/application_1495621107567_0001/

  23. Kill Command = /usr/tools/hadoop/bin/hadoop job -kill job_1495621107567_0001

  24. Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1

  25. FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. PermGen space

 


執行count的時候，執行mapreducer，PermGen space了。。。。  也是醉了

window7機器上了運行了虛擬機器，3個linux組成的  hadoop，hbase，hive叢集， 8g記憶體  記憶體使用率走橫線,..... 

實際上有時是可以count出來資料的，估計windows開了不少程序

 

相關推薦

Hive連線Hbase操作資料

Hive連線Hbase操作資料   版權宣告：本文為博主原創文章，未經博主允許不得轉載。轉載請註明來自http://blog.csdn.net/lr131425 https://blog.csdn.net/lr131425/article/details/72722932 Hi

Hive的DML操作資料的匯入和匯出

Hive的DML資料操作 資料的匯入 向表中裝載資料(load):: 語法 hive>load data [local] inpath ‘/opt/module/datas/student.txt’ [overwrite] into table studen

資料庫連線：操作資料增刪改查

<?php $db = new MySQLi("localhost","root","12345678","heiheihei"); //連線資料庫 $sql = "select * from student "; //寫sql語句 $r = $db->query($sql); //執行sql語

odoo連線資料庫操作資料

#！/usr/bin/env python # _*_ coding: utf-8 _*_ import psycopg2 db = psycopg2.connect("dbname=linxerp

Hive 連線查詢操作（不支援IN查詢）

CREATE EXTERNAL TABLE IF NOT EXISTS a( telno STRING, other STRING ) PARTITIONED BY(day String) ROW FORMAT DELIMITED FIELDS TERMINATED

1008-Hive訪問HBase表資料

hbase(main):012:0> get 'UserVisitInfo','20150706_3037487029517069460000' COLUMN CELL

Sqoop與HDFS、Hive、Hbase等系統的資料同步操作

Sqoop與HDFS結合         下面我們結合 HDFS，介紹 Sqoop 從關係型資料庫的匯入和匯出。 Sqoop import        

【JAVA】使用 jedis操作redis——連線、儲存資料、切庫等

本篇運用Java呼叫jedis包（jedis線上文件API ），做簡單操作例項。 安裝jedis 1. 2.9.0 jar 版本下載： jedis-2.9.0.jar 2. 新建專案，新增該驅動包    連線到 redis 服務

把kafka資料從hbase遷移到hdfs，並按天載入到hive表(hbase與hadoop為不同叢集)

需求：由於我們用的阿里雲Hbase，按儲存收費，現在需要把kafka的資料直接同步到自己搭建的hadoop叢集上，(kafka和hadoop叢集在同一個區域網)，然後對接到hive表中去，表按每天做分割槽 一、首先檢視kafka最小偏移量（offset） /usr/local/kafka/bin/k

大資料之Spark（八）--- Spark閉包處理，部署模式和叢集模式，SparkOnYarn模式，高可用，Spark整合Hive訪問hbase類載入等異常解決，使用spark下的thriftserv

一、Spark閉包處理 ------------------------------------------------------------ RDD,resilient distributed dataset,彈性(容錯)分散式資料集。 分割槽列表,function,dep Op

關於python在爬蟲scrapy框架，使用happybase方法連結hbase進行資料上傳操作

如果有叢集先將hbase的叢集啟起來 python程式碼如下 import happybase import MySQLdb #pipelines.py檔案裡面類 覆蓋原有類 Pachong_qcwyPipeline class Pachong_qcwyPipelin

hbase與hive關聯、插入資料

接上一篇文章hbase的基本操作，做進一步深入。細想一下，使用put命令插入資料到hbase，使用get方法從hbase讀取資料還是有諸多不方便。顯然，NO SQL資料庫在某些操作上還是沒有支援SQL的資料庫更加便捷。那麼，是否可以將hbase與什麼關聯一下，既支援hbase的NO SQL又

springboot+maven+hbase 操作訪問hbase並處理資料

1.maven依賴：（hbase 依賴的包中會和其他包中有衝突，所以在此選擇忽略） <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hb

Hbase插入資料的模組化操作案例

private void insertHbaseDBForSports(String dataType, String appType, String collectDate, List<

大資料（十九）：hive資料庫基本操作與表分類

一、建立資料庫 1.建立一個數據，資料庫在HDFS上的預設儲存路徑是/user/hive/warehouse/*.db create database db_hive; 2.避免建立的資料庫已經存在，增加if not exists create database 

大資料hive之hive連線mysql並啟動，出現SSL警告，如何解決？

文章目錄 1. 問題 2. 如何解決？ 2.1 設定useSSL=false 2.2 設定useSSL = true 1. 問題 Hive能正常執行任務，但出現“WARN: E

大資料離線---Hive的表操作介紹

這次我們主要針對hive的操作表做簡單的介紹： 託管表和外部表 分割槽和桶 這2個部分做簡介 Hive表格邏輯上有儲存的資料和描述表格中資料形式的相關元資料組成。資料一般儲存在HDFS上，也可以存放在本地檔案系統中。元資料存放在關係資料庫中。 1. 託管表

大資料BigData之如何配置hive連線mysql，把mysql作為元資料庫？

如何配置hive連線mysql，把mysql作為元資料庫？ 文章目錄 1.增加mysql資料庫的連線配置 2.修改臨時資料夾的路徑 3.修改 hive-config.sh 4.下載MySQL JDBC驅動 5.在HDFS中建立目錄和設定許可權

往HBase匯入資料的幾種操作

HBase作為Hadoop DataBase，除了使用put進行資料匯入之外，還有以下幾種匯入資料的方式： （1）使用importTsv功能將csv檔案匯入HBase； （2）使用import功能，將資料匯入HBase； （3）使用BulkLoad功能將資料匯入HBase。 接下

HBase基本資料操作詳解【完整版，絕對精品】

引言 之前詳細寫了一篇HBase過濾器的文章，今天把基礎的表和資料相關操作補上。 本文件參考最新（截止2014年7月16日）的官方Ref Guide、Developer API編寫。 所有程式碼均基於“hbase 0.96.2-hadoop2”版本編寫，均實測通過。 歡迎轉載