2. 程式人生 > >21 大資料 --javaapi 訪問 hbase

21 大資料 --javaapi 訪問 hbase

阿新 • • 發佈：2019-01-12

Hbase介紹
HBASE是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統，利用HBASE技術可在廉價PC Server上搭建起大規模結構化儲存叢集。
HBASE的目標是儲存並處理大型的資料，更具體來說是僅需使用普通的硬體配置，就能夠處理由成千上萬的行和列所組成的大型資料。
HBASE是Google Bigtable的開源實現，但是也有很多不同之處。比如：Google Bigtable利用GFS作為其檔案儲存系統，HBASE利用Hadoop HDFS作為其檔案儲存系統；Google執行MAPREDUCE來處理Bigtable中的海量資料，HBASE同樣利用Hadoop MapReduce來處理HBASE中的海量資料；Google Bigtable利用Chubby作為協同服務，HBASE利用Zookeeper作為對應。

  <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-client</artifactId>
      <version>0.99.2</version>
    </dependency>

 1、建立表

public class HBaseTest {

    Configuration config = null;
    private Connection connection = null;
    private Table table = null;

    @Before
    public void init() throws Exception {
        config = HBaseConfiguration.create();// 配置
        config.set("hbase.zookeeper.quorum", "192.168.25.127,192.168.25.129,192.168.25.130");// zookeeper地址
        config.set("hbase.zookeeper.property.clientPort", "2181");// zookeeper埠
        connection = ConnectionFactory.createConnection(config);
        table = connection.getTable(TableName.valueOf("user1"));
    }
    /**
     * 建立表
     * @throws Exception
     */
    @Test
    public void testCreateTable() throws Exception{
        //建立表管理類
        HBaseAdmin admin = new HBaseAdmin(config);
        //建立表描述類
        TableName tableName = TableName.valueOf("user2");
        HTableDescriptor descriptor = new HTableDescriptor(tableName);
        //建立列族描述類
        HColumnDescriptor info1 = new HColumnDescriptor("info1");
        //列族加入表中
        descriptor.addFamily(info1);
        HColumnDescriptor info2 = new HColumnDescriptor("info2");
        descriptor.addFamily(info2);
        //建立表
        admin.createTable(descriptor);
    }
}

如果執行之後發現程式卡住不動，或者過了很久之後出現下面的異常

org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=35, exceptions:
...
Caused by: org.apache.hadoop.hbase.MasterNotRunningException: com.google.protobuf.ServiceException: java.net.UnknownHostException: unknown host: mini1
...
Caused by: com.google.protobuf.ServiceException: java.net.UnknownHostException: unknown host: mini1
...

首先確保關閉了hadoop的安全模式，然後linux下的ip地址跟主機名必須對應，最後windows下的ip地址跟主機名也要對應，我這在linux下/etc/hosts檔案中

[[email protected] ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 localhost.jinbm
192.168.25.127 mini1
192.168.25.129 mini2
192.168.25.130 mini3

但是當時出現windows下的hosts檔案沒有配置後三個對映導致出現上面的異常。

執行之後去hbase叢集檢視
user2表已經建立

hbase(main):002:0> list
TABLE                                                                                                                                                                             
user1                                                                                                                                                                             
user2                                                                                                                                                                             
2 row(s) in 0.0130 seconds

=> ["user1", "user2"]

2、刪除表
刪除表跟shell命令一樣，也是要先disable表之後才能刪除

 @Test
    public void testDeleteTable() throws Exception{
        HBaseAdmin admin = new HBaseAdmin(config);
        admin.disableTable("user2");
        admin.deleteTable("user2");
    }

3、單條插入（修改）

  /**
     * 向表中插入資料
     * 單條插入(包括修改)
     * @throws Exception
     */
    @Test
    public void testPut() throws Exception{
        //rowkey
        Put put = new Put(Bytes.toBytes("1234"));
        //列族，列，值
        put.add(Bytes.toBytes("info1"), Bytes.toBytes("gender"), Bytes.toBytes("1"));
        put.add(Bytes.toBytes("info2"), Bytes.toBytes("name"), Bytes.toBytes("wangwu"));
        table.put(put);
        //提交
        table.flushCommits();
    }

檢視

hbase(main):008:0> scan 'user1'
ROW                                           COLUMN+CELL                                                                                                                         
 1234                                         column=info2:age, timestamp=1509315527064, value=18                                                                                 
 1234                                         column=info2:name, timestamp=1509315500250, value=zhangsan                                                                          
 12345                                        column=info2:age, timestamp=1509315533683, value=18                                                                                 
 12345                                        column=info2:name, timestamp=1509315548481, value=lisi                                                                              
2 row(s) in 0.1030 seconds

hbase(main):009:0> scan 'user1'
ROW                                           COLUMN+CELL                                                                                                                         
 1234                                         column=info1:gender, timestamp=1509315890353, value=1                                                                               
 1234                                         column=info2:age, timestamp=1509315527064, value=18                                                                                 
 1234                                         column=info2:name, timestamp=1509315890353, value=wangwu                                                                            
 12345                                        column=info2:age, timestamp=1509315533683, value=18                                                                                 
 12345                                        column=info2:name, timestamp=1509315548481, value=lisi                                                                              
2 row(s) in 0.0440 seconds

發現添加了一條資料和修改了一條資料

4、批量插入資料
Table有2個過載的方法，一個是table.put(Put put)也就是單條插入，一個是table.put(list)list泛型是Put，這就是批量插入。

  /**
     * 向表中插入資料
     * 多條插入,使用list
     * @throws Exception
     */
    @Test
    public void testPut2() throws Exception{
        //可以通過將自動重新整理設定為false來啟用緩衝區
        table.setAutoFlushTo(false);
        //設定資料將被寫入的緩衝區大小
        table.setWriteBufferSize(534534534);
        List<Put> putList = new ArrayList<>();
        for (int i=20;i<=30;i++){
            //rowkey
            Put put = new Put(Bytes.toBytes("jbm_"+i));
            //列族，列，值
            put.add(Bytes.toBytes("info1"), Bytes.toBytes("age"), Bytes.toBytes(i));
            put.add(Bytes.toBytes("info1"), Bytes.toBytes("name"), Bytes.toBytes("lucy"+i));
            putList.add(put);
        }
        table.put(putList);
        //提交
        table.flushCommits();
    }

執行之後檢視

hbase(main):010:0> scan 'user1'

5、修改資料

/**
     * 修改資料
     * @throws Exception
     */
    @Test
    public void testUpdate() throws Exception{
        Put put = new Put(Bytes.toBytes("1234"));
        put.add(Bytes.toBytes("info2"), Bytes.toBytes("name"), Bytes.toBytes("tom"));
        table.put(put);
        table.flushCommits();
    }

執行之後檢視

hbase(main):010:0> scan 'user1'
ROW                                           COLUMN+CELL                                                                                                                         
 1234                                         column=info1:gender, timestamp=1509315890353, value=1                                                                               
 1234                                         column=info2:age, timestamp=1509315527064, value=18                                                                                 
 1234                                         column=info2:name, timestamp=1509315890353, value=wangwu  
 ...
 hbase(main):013:0> scan 'user1'
ROW                                           COLUMN+CELL                                                                                                                         
 1234                                         column=info1:gender, timestamp=1509315890353, value=1                                                                               
 1234                                         column=info2:age, timestamp=1509315527064, value=18                                                                                 
 1234                                         column=info2:name, timestamp=1509316978243, value=tom

發現wangwu已被改為了tom

6、刪除整行資料
刪除rowkey為1234整行資料

 /**
     * 刪除資料
     * @throws Exception
     */
    @Test
    public void testDeleteData() throws Exception{
        Delete delete = new Delete(Bytes.toBytes("1234"));
        table.delete(delete);
        table.flushCommits();
    }

7、單條查詢

  /**
     * 單條查詢
     * @throws Exception
     */
    @Test
    public void testGetSingle() throws Exception{
        //rowkey
        Get get = new Get(Bytes.toBytes("12345"));
        Result result = table.get(get);
        //列族，列名
        byte[] name = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("name"));
        byte[] age = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("age"));
        System.out.println(Bytes.toString(name));
        System.out.println(Bytes.toString(age));
    }

執行後hbase檢視和控制檯檢視

hbase(main):001:0> scan 'user1'
 12345                                        column=info2:age, timestamp=1509315533683, value=18                                                                                 
 12345                                        column=info2:name, timestamp=1509315548481, value=lisi  
...
控制檯輸出
lisi
18

8、多條查詢
這裡叫做掃描更適合吧，先用全表掃描，和命令列的scan ‘表名’一樣

 /**
     * 多條查詢
     * 全表掃描
     * @throws Exception
     */
    @Test
    public void testGetMany() throws Exception{

        Scan scan = new Scan();
        //字典序   類似於分頁
        scan.setStartRow(Bytes.toBytes("jbm_20"));
        scan.setStopRow(Bytes.toBytes("jbm_30"));
        ResultScanner resultScanner = table.getScanner(scan);
        for (Result result : resultScanner) {
            //Single row result of a Get or Scan query. Result
            //Result 一次獲取一個rowkey對應的記錄
            //列族，列名
            byte[] name = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));
            byte[] age = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("age"));
            System.out.print(Bytes.toString(name)+",");
            System.out.print(Bytes.toInt(age));
            System.out.println();
        }

    }

執行控制檯輸出結果

lucy20,20
lucy21,21
lucy22,22
lucy23,23
lucy24,24
lucy25,25
lucy26,26
lucy27,27
lucy28,28
lucy29,29

9、Hbase過濾器
1）、列值過濾器
SingleColumnValueFilter
過濾列值的相等、不等、範圍

   /**
     * 全表掃描過濾器
     * 列值過濾器
     * @throws Exception
     */
    @Test
    public void testFilter() throws Exception{

        Scan scan = new Scan();
        //列值過濾器
        SingleColumnValueFilter columnValueFilter = new SingleColumnValueFilter(Bytes.toBytes("info1"), 
                Bytes.toBytes("name"), CompareOp.EQUAL, Bytes.toBytes("lisi"));
        //設定過濾器
        scan.setFilter(columnValueFilter);
        //獲取結果集
        ResultScanner resultScanner = table.getScanner(scan);
        for (Result result : resultScanner) {
            byte[] name = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("name"));
            byte[] age = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("age"));
            System.out.print(Bytes.toString(name)+",");
            System.out.print(Bytes.toString(age));
            System.out.println();
        }
    }

執行檢視輸出

hbase(main):001:0> scan 'user1'
ROW                                           COLUMN+CELL                                                                                                                         
 12345                                        column=info2:age, timestamp=1509315533683, value=18                                                                                 
 12345                                        column=info2:name, timestamp=1509315548481, value=lisi                                                                              
 jbm_20                                       column=info1:age, timestamp=1509316527223, value=\x00\x00\x00\x14   
 ...
控制檯輸出
lisi,18

2）、rowkey過濾器
RowFilter 通過正則，過濾rowKey值。

 /**
     * 全表掃描過濾器
     * rowkey過濾
     * @throws Exception
     */
    @Test
    public void testRowkeyFilter() throws Exception{

        Scan scan = new Scan();
        //rowkey過濾器
        //匹配以jbm開頭的
        RowFilter filter = new RowFilter(CompareOp.EQUAL, new RegexStringComparator("^jbm"));
        //設定過濾器
        scan.setFilter(filter);
        //獲取結果集
        ResultScanner resultScanner = table.getScanner(scan);
        for (Result result : resultScanner) {
            byte[] name = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));
            byte[] age = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("age"));
            System.out.print(Bytes.toString(name)+",");
            System.out.print(Bytes.toInt(age));
            System.out.println();
        }
    }

控制檯輸出

lucy20,20
lucy21,21
lucy22,22
lucy23,23
lucy24,24
lucy25,25
lucy26,26
lucy27,27
lucy28,28
lucy29,29
lucy30,30

3）、列名字首過濾器
ColumnPrefixFilter列名字首過濾

 /**
     * 全表掃描過濾器
     * 列名字首過濾
     * @throws Exception
     */
    @Test
    public void testColumnPrefixFilter() throws Exception{

        Scan scan = new Scan();
        //列名字首過濾器 列名字首為na(注：不是指值的字首)
        ColumnPrefixFilter filter = new ColumnPrefixFilter(Bytes.toBytes("na"));
        //設定過濾器
        scan.setFilter(filter);
        //獲取結果集
        ResultScanner resultScanner = table.getScanner(scan);
        for (Result result : resultScanner) {
            byte[] name = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));
            byte[] age = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("age"));
            if(name!=null){
                System.out.print(Bytes.toString(name)+" ");
            }
            if(age!=null){
                System.out.print(age);
            }
            System.out.println();
        }
    }

從輸出結果就能看到，只會拿到name列，age列是拿不到的

lucy20 
lucy21 
lucy22 
lucy23 
lucy24 
lucy25 
lucy26 
lucy27 
lucy28 
lucy29 
lucy30

4）、過濾器集合

/**
     * 全表掃描過濾器
     * 過濾器集合
     * @throws Exception
     */
    @Test
    public void testFilterList() throws Exception{
        Scan scan = new Scan();
        //過濾器集合：MUST_PASS_ALL（and）,MUST_PASS_ONE(or)
        FilterList filterList = new FilterList(Operator.MUST_PASS_ALL);
        //ROWKEY過濾器
        RowFilter rowFilter = new RowFilter(CompareOp.EQUAL, new RegexStringComparator("^jbm"));
        //列值過濾器     age大於25
        SingleColumnValueFilter columnValueFilter = new SingleColumnValueFilter(Bytes.toBytes("info1"), 
                Bytes.toBytes("age"), CompareOp.GREATER, Bytes.toBytes(25));
        filterList.addFilter(columnValueFilter);
        filterList.addFilter(rowFilter);
        //設定過濾器
        scan.setFilter(filterList);
        //獲取結果集
        ResultScanner resultScanner = table.getScanner(scan);
        for (Result result : resultScanner) {
            byte[] name = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));
            byte[] age = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("age"));
            if(name!=null){
                System.out.print(Bytes.toString(name)+" ");
            }
            if(age!=null){
                System.out.print(Bytes.toInt(age)+" ");
            }
            System.out.println();
        }
    }

輸出

lucy26 26 
lucy27 27 
lucy28 28 
lucy29 29 
lucy30 30

 

 

 

 

 

 

 

 

 

相關推薦

21 大資料 --javaapi 訪問 hbase

Hbase介紹 HBASE是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統，利用HBASE技術可在廉價PC Server上搭建起大規模結構化儲存叢集。 HBASE的目標是儲存並處理大型的資料，更具體來說是僅需使用普通的硬體配置，就能夠處理由成千上萬的行和列所組成的大型資料。 HBASE是Goo

21 大資料--Hbase命令

hbase提供了一個shell的終端給使用者互動(使用hbase) [[email protected] bin]# ./hbase shell 退出使用quit和Ctril+C即可； 注：需要關閉hadoop的安全模式不然進行一些操作，比如scan會卡住 進入到hadoop的

雲時代的大資料儲存-雲HBase

為什麼 縱觀資料庫發展的幾十年，從網狀資料庫、層次資料庫到RDBMS資料庫，在最近幾年的NewSQL的興起，加上開源的運動，再加上雲的特性，可以說是日新月異。在20世紀80年代後，大部分的業務確定使用RDBMS資料為儲存基礎。新世紀開始，隨著網際網路的發展，資料量的增大，慢慢RDBMS資料庫撐不住，就出

【大資料技術】HBase基本知識介紹及典型案例分析

  （1）分散式、多版本、面向列的開源資料庫      （2）支援上億行、百萬列；   （3）強一致性、高擴充套件、高可用 Hbase是一個強一致性資料庫，不是“最終一致性”資料庫。 HBase資料讀寫，更新的資料是放在Mems

大資料技術之HBase第8章 擴充套件

8.1布隆過濾器 在日常生活中，包括在設計計算機軟體時，我們經常要判斷一個元素是否在一個集合中。比如在字處理軟體中，需要檢查一個英語單詞是否拼寫正確（也就是要判斷它是否在已知的字典中）；在 FBI，一個嫌疑人的名字是否已經在嫌疑名單上；在網路爬蟲裡，一個網址是否被訪問過等等

大資料學習之Hbase shell的基本操作

HBase的命令列工具，最簡單的介面，適合HBase管理使用，可以使用shell命令來查詢HBase中資料的詳細情況。安裝完HBase之後，啟動hadoop叢集(利用hdfs儲存)，啟動zookeeper，使用start-hbase.sh命令開啟hbase服務，最後在shel

[大資料]連載No19 Hbase Shell和API的增刪改查+與MapperReducer讀寫操作

本次總結如下1、Hbase Shell的常用命令2、Java APi 對hbase的增刪改查3、Mapper Reducer從hbase讀寫數資料，計算單詞數量，並寫回hbase登入hbase Shell[[email protected] ~]#/home/sof

[大資料專案]-0019-HBase+SpringBoot實戰分散式檔案儲存

2018最新最全大資料技術、專案視訊。整套視訊，非那種淘寶雜七雜八網上能免費找到拼湊的亂八七糟的幾年前的不成體系浪費咱們寶貴時間的垃圾，詳細內容如下，視訊高清不加密，需要的聯絡QQ：3164282908（加Q註明51CTO）。       第1章 課

大資料的儲存—HBase

       HBase（HadoopDataBase ）是一個高可靠性、高效能、面向列、可伸縮的分散式資料庫系統，它使用類似於GFS的HDFS作為底層檔案儲存檔案，在其上執行MapRduce批量處理資料。使用ZooKeeper作為協同服務元件。        Hive在H

大資料儲存利器 - Hbase 基礎圖解

由於疫情原因在家辦公，導致很長一段時間沒有更新內容，這次終於帶來一篇乾貨,是一篇關於 Hbase架構原理 的分享。   Hbase 作為實時儲存框架在大資料業務下承擔著舉足輕重的地位，可以說目前絕大多數大資料場景都離不開Hbase。   今天就先從 Hbase 基礎入手，來說說 Hbase

大資料之Spark（八）--- Spark閉包處理，部署模式和叢集模式，SparkOnYarn模式，高可用，Spark整合Hive訪問hbase類載入等異常解決，使用spark下的thriftserv

一、Spark閉包處理 ------------------------------------------------------------ RDD,resilient distributed dataset,彈性(容錯)分散式資料集。 分割槽列表,function,dep Op

大資料之hbase（一） --- HBase介紹，特性，安裝部署，shell命令，client端與hbase的互動過程，程式設計API訪問hbase實現百萬寫入

一、HBase介紹 ---------------------------------------------- 1.基於hadoop的資料庫，具有分散式，可伸縮的大型資料儲存 2.用於對資料的隨機訪問，實時讀寫 3.巨大的表，十億行*百萬列

使用happybase訪問HBase出現Broken pipe問題---兩個“驚天”大bug

hbase happybase 來源使用happybase通過thrift接口向HBase讀取、寫入數據時，出現Broken pipe的錯誤。排查步驟： 1、查看hbase的日誌： Java HotSpot(TM) 64-Bit Server VM warning: Using incremental

[大資料]hbase HA配置

1 叢集規劃 bigdata01.com bigdatan2.com bigdata03.com master master region

大資料HBase系列之HBase分散式資料庫部署

一、部署準備 1. 依賴框架 大資料Hadoop系列之Hadoop分散式叢集部署：https://blog.csdn.net/volitationLong/article/details/80285123 大資料Zookeeper系列之Zookeeper叢集部署：https://

大資料HBase系列之初識HBase

1.  HBase簡介 1.1  為什麼使用HBase 傳統的RDBMS關係型資料庫（MySQL/Oracle）儲存一定量資料時進行資料檢索沒有問題，可當資料量上升到非常巨大規模的資料（TB/PB）級別時，傳統的RDBMS已無法支撐，這時候就需要一種新型的資料庫系統更好更

大資料入門（17）hbase叢集搭建

1.上傳hbase安裝包 2.解壓 3.配置hbase叢集，要修改3個檔案（首先zk叢集已經安裝好了）                   &nbs

使用者訪問session分析的基礎資料結構及大資料的基本架構

使用者訪問session分析模組 使用者訪問session介紹： 使用者在電商網站上，通常會有很多的點選行為： 首先通常都是進入首頁； 然後可能點選首頁上的一些商品； 點選首頁上的一些品類； 隨時在搜尋框裡面搜尋關鍵詞； 將一些

啟動Zookeeper + Hadoop + Hbase + Kafka大資料服務

        Hadoop是非常流行的大資料框架，Zookeeper提供了高效的協調服務，Hbase高度依賴zk，是基於HDFS系統，具有可伸縮性，非常適合儲存複雜的資料結構，這三者作為一個系統整體，Kafka是作為快取佇列彌補Hbase寫入效能較差的不足，

大資料入門教程系列之Hbase安裝(偽分散式)

本篇文章主要介紹在windows下使用vmware虛擬機器中的Linux(Centons7)下配置安裝Hbase。 簡要步驟： ①、下載Hbase解壓包 ②、安裝zookeeper ③、解壓Hbase，配置環境環境 ④、修改Hbase指令碼檔案hbase-env.sh ⑤、修