Hbase訪問方式之Java API
阿新 • • 發佈:2019-01-22
Hbase的訪問方式
1、Native Java API:最常規和高效的訪問方式;
2、HBase Shell:HBase的命令列工具,最簡單的介面,適合HBase管理使用;
3、Thrift Gateway:利用Thrift序列化技術,支援C++,PHP,Python等多種語言,適合其他異構系統線上訪問HBase表資料;
4、REST Gateway:支援REST 風格的Http API訪問HBase, 解除了語言限制;
5、MapReduce:直接使用MapReduce作業處理Hbase資料;
6、使用Pig/hive處理Hbase資料。
1、Native Java API:最常規和高效的訪問方式;
2、HBase Shell:HBase的命令列工具,最簡單的介面,適合HBase管理使用;
3、Thrift Gateway:利用Thrift序列化技術,支援C++,PHP,Python等多種語言,適合其他異構系統線上訪問HBase表資料;
4、REST Gateway:支援REST 風格的Http API訪問HBase, 解除了語言限制;
5、MapReduce:直接使用MapReduce作業處理Hbase資料;
6、使用Pig/hive處理Hbase資料。
常用Java API的用法:
1、載入配置
Configuration config = HBaseConfiguration.create(); //可以自定義配置,也可以從自定義配置檔案中讀取 /*config.set("hbase.zookeeper.property.clientPort", "4181"); config.set("hbase.zookeeper.quorum", "hadoop.datanode5.com,hadoop.datanode2.com,hadoop.datanode3.com"); config.set("hbase.master", "hadoop.datanode3.com\\:600000");*/
2、表的建立、表資訊修改、表刪除
3、新增記錄HBaseAdmin admin = new HBaseAdmin(config); //建立表 HTableDescriptor htd = new HTableDescriptor(tableName); htd.addFamily(new HColumnDescriptor("cf1")); htd.addFamily(new HColumnDescriptor("cf2")); admin.createTable(htd); //修改表資訊 admin.disableTable(tableName); // modifying existing ColumnFamily admin.modifyColumn(tableName, new HColumnDescriptor("cf1")); admin.enableTable(tableName); //刪除表 admin.disableTable(Bytes.toBytes(tableName)); admin.deleteTable(Bytes.toBytes(tableName));
4、查詢,根據Rowkey查詢/** 在多次使用時,建議用HTablePool HTable table = new HTable(config, tableName); => HTablePool pool = new HTablePool(config, 1000); HTableInterface table = pool.getTable(tableName);*/ HTable table = new HTable(config, tableName); /** * 在插入操作時,預設不適用任何快取 * 可自定義使用快取,以及快取大小 * 每個任務最後需要手工呼叫 flushCommits(); */ /*table.setAutoFlush(false); table.setWriteBufferSize(1024);*/ Put put1 = new Put(Bytes.toBytes(rowKey)); if (ts == 0) { put1.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), Bytes.toBytes(value)); } else { //自定義版本時,從自定義的版本號,型別為long put1.add(Bytes.toBytes(family), Bytes.toBytes(qualifier), ts,Bytes.toBytes(value)); } table.put(put1); //table.flushCommits();
Get get1 = new Get(Bytes.toBytes(rowKey));
Result result = table.get(get1);
System.out.println("get result:" + Bytes.toString(result.getValue(Bytes.toBytes(family), Bytes.toBytes(qualifier))));
Result[] result = table.get(List<Get>);//查詢指定Rowkey的多條記錄
5、查詢,指定條件和rowkey區間查詢Scan scan = new Scan();
//預設快取大小為1,設定成一個合理的值,可以減少scan過程中next()的時間開銷,代價是客戶端的記憶體
scan.setCaching(500);
scan.setCacheBlocks(false);
//根據startRowKey、endRowKey查詢
//Scan scan = new Scan(Bytes.toBytes("startRowKey"), Bytes.toBytes("endRowKey"));
//rowKey之外的過濾條件,在List中可以add;
/**List<Filter> filters = new ArrayList<Filter>();
Filter filter = new SingleColumnValueFilter("familyName".getBytes(),
"qualifierName".getBytes(),
CompareOp.EQUAL,
Bytes.toBytes("value"));
filters.add(filter);
scan.setFilter(new FilterList(filters));*/
ResultScanner scanner = table.getScanner(scan);
System.out.println("scan result list:");
for (Result result : scanner) {
System.out.println(Bytes.toString(result.getRow()));
System.out.println(Bytes.toString(result.getValue(Bytes.toBytes("data"), Bytes.toBytes("data1"))));
System.out.println(Bytes.toString(result.getValue(Bytes.toBytes("data"), Bytes.toBytes("data2"))));
}
scanner.close();
參考: