2. 程式人生 > >hbase資料查詢及過濾器詳細使用

hbase資料查詢及過濾器詳細使用

阿新 • • 發佈：2019-01-29

地址：https://blog.csdn.net/m0_37739193/article/details/73615016

本文介紹了在hbase中簡單的資料查詢及過濾器（比較全）的使用，程式碼和命令均經過本人實測通過，辛苦的將這些整理出來為以後方便查詢

建立並插入資料：

  1. hbase(main):179:0> create 'scores','grade','course'  
  2. hbase(main):180:0> put 'scores','zhangsan01','course:art','90'  
  3. hbase(main):181:0> scan 'scores'  
  4. ROW                                                          COLUMN+CELL                                                                                                                                                                       
  5.  zhangsan01                                                  column=course:art, timestamp=1498003561726, value=90                                                                                                                              
  6. 1 row(s) in 0.0150 seconds  
  7. hbase(main):182:0> put 'scores','zhangsan01','course:math','99',1498003561726  
  8. （這裡手動設定時間戳的時候一定不能大於你當前的系統時間，否則的話無法刪除該資料，我這裡手動設定資料是為了下面的DependentColumnFilter過濾器試驗。你可以檢視一下插入第一條資料的時間戳，再插入第二條資料的時間戳為第一條資料的時間戳）  
  9. hbase(main):183:0> put 'scores','zhangsan01','grade:','101'  
  10. 問題：當我將這條插入的資料刪除之後再執行put 'scores','zhangsan01','grade:','101',1498003561726後能成功卻scan 'scores'後沒有該條資料，而再執行put 'scores','zhangsan01','grade:','101'後scan 'scores'卻能查到該條資料。如果想插入該條資料的時候手動設定時間戳的話，必須在第一次插入該條資料或者truncate後再插入。  
  11. hbase(main):184:0> put 'scores','zhangsan02','course:art','90'  
  12. hbase(main):185:0> get 'scores','zhangsan02','course:art'  
  13. COLUMN                                                       CELL                                                                                                                                                                              
  14.  course:art                                                  timestamp=1498003601365, value=90                                                                                                                                                 
  15. 1 row(s) in 0.0080 seconds  
  16. hbase(main):186:0> put 'scores','zhangsan02','grade:','102',1498003601365  
  17. hbase(main):187:0> put 'scores','zhangsan02','course:math','66',1498003561726  
  18. hbase(main):188:0> put 'scores','lisi01','course:math','89',1498003561726  
  19. hbase(main):189:0> put 'scores','lisi01','course:art','89'  
  20. hbase(main):190:0> put 'scores','lisi01','grade:','201',1498003561726  

查詢資料：

根據rowkey查詢：

  1. hbase(main):187:0> get 'scores','zhangsan01'  
  2. COLUMN                                                       CELL                                                                                                                                                                              
  3.  course:art                                                  timestamp=1498003561726, value=90                                                                                                                                                 
  4.  course:math                                                 timestamp=1498003561726, value=99                                                                                                                                                 
  5.  grade:                                                      timestamp=1498003593575, value=101                                                                                                                                                
  6. 3 row(s) in 0.0160 seconds  

根據列名查詢：
  1. hbase(main):188:0> scan 'scores',{COLUMNS=>'course:art'}  
  2. ROW                                                          COLUMN+CELL                                                                                                                                                                       
  3.  lisi01                                                      column=course:art, timestamp=1498003655021, value=89                                                                                                                              
  4.  zhangsan01                                                  column=course:art, timestamp=1498003561726, value=90                                                                                                                              
  5.  zhangsan02                                                  column=course:art, timestamp=1498003601365, value=90                                                                                                                              
  6. 3 row(s) in 0.0120 seconds  

查詢兩個rowkey之間的資料：
  1. hbase(main):205:0> scan 'scores',{STARTROW=>'zhangsan01',STOPROW=>'zhangsan02'}  
  2. ROW                                                          COLUMN+CELL                                                                                                                                                                       
  3.  zhangsan01                                                  column=course:art, timestamp=1498003561726, value=90                                                                                                                              
  4.  zhangsan01                                                  column=course:math, timestamp=1498003561726, value=99                                                                                                                             
  5.  zhangsan01                                                  column=grade:, timestamp=1498003593575, value=101                                                                                                                                 
  6. 1 row(s) in 0.0140 seconds  

查詢兩個rowkey且根據列名來查詢：
  1. hbase(main):206:0> scan 'scores',{COLUMNS=>'course:art',STARTROW=>'zhangsan01',STOPROW=>'zhangsan02'}  
  2. ROW                                                          COLUMN+CELL                                                                                                                                                                       
  3.  zhangsan01                                                  column=course:art, timestamp=1498003561726, value=90                                                                                                                              
  4. 1 row(s) in 0.0110 seconds  

查詢指定rowkey到末尾根據列名的查詢：
  1. hbase(main):207:0> scan 'scores',{COLUMNS=>'course:art',STARTROW=>'zhangsan01',STOPROW=>'zhangsan09'}  
  2. ROW                                                          COLUMN+CELL                                                                                                                                                                       
  3.  zhangsan01                                                  column=course:art, timestamp=1498003561726, value=90                                                                                                                              
  4.  zhangsan02                                                  column=course:art, timestamp=1498003601365, value=90                                                                                                                              
  5. 2 row(s) in 0.0310 seconds  

過濾器的使用：

引言 -- 引數基礎

有兩個引數類在各類Filter中經常出現，統一介紹下：
（1）比較運算子CompareOp
比較運算子用於定義比較關係，可以有以下幾類值供選擇：
EQUAL                      相等
GREATER                    大於
GREATER_OR_EQUAL           大於等於
LESS                       小於
LESS_OR_EQUAL              小於等於
NOT_EQUAL                  不等於

（2）比較器  ByteArrayComparable
通過比較器可以實現多樣化目標匹配效果，比較器有以下子類可以使用：
BinaryComparator           匹配完整位元組陣列 
BinaryPrefixComparator     匹配位元組陣列字首 
BitComparator          Performs a bitwise comparison, providing a BitwiseOp class with OR, and XOR operators.
NullComparator  Does not compare against an actual value but whether a given one is null, or not  null.
RegexStringComparator      正則表示式匹配
SubstringComparator        子串匹配

  1. import java.io.IOException;  
  2. import java.util.ArrayList;  
  3. import java.util.Arrays;  
  4. import java.util.List;  
  5. import org.apache.hadoop.conf.Configuration;  
  6. import org.apache.hadoop.hbase.Cell;  
  7. import org.apache.hadoop.hbase.CellUtil;  
  8. import org.apache.hadoop.hbase.HBaseConfiguration;  
  9. import org.apache.hadoop.hbase.TableName;  
  10. import org.apache.hadoop.hbase.client.Admin;  
  11. import org.apache.hadoop.hbase.client.Connection;  
  12. import org.apache.hadoop.hbase.client.ConnectionFactory;  
  13. import org.apache.hadoop.hbase.client.Get;  
  14. import org.apache.hadoop.hbase.client.Result;  
  15. import org.apache.hadoop.hbase.client.ResultScanner;  
  16. import org.apache.hadoop.hbase.client.Scan;  
  17. import org.apache.hadoop.hbase.client.Table;  
  18. import org.apache.hadoop.hbase.filter.BinaryComparator;  
  19. import org.apache.hadoop.hbase.filter.ColumnCountGetFilter;  
  20. import org.apache.hadoop.hbase.filter.ColumnPaginationFilter;  
  21. import org.apache.hadoop.hbase.filter.ColumnPrefixFilter;  
  22. import org.apache.hadoop.hbase.filter.ColumnRangeFilter;  
  23. import org.apache.hadoop.hbase.filter.DependentColumnFilter;  
  24. import org.apache.hadoop.hbase.filter.FamilyFilter;  
  25. import org.apache.hadoop.hbase.filter.Filter;  
  26. import org.apache.hadoop.hbase.filter.FilterList;  
  27. import org.apache.hadoop.hbase.filter.FirstKeyOnlyFilter;  
  28. import org.apache.hadoop.hbase.filter.FuzzyRowFilter;  
  29. import org.apache.hadoop.hbase.filter.InclusiveStopFilter;  
  30. import org.apache.hadoop.hbase.filter.KeyOnlyFilter;  
  31. import org.apache.hadoop.hbase.filter.MultipleColumnPrefixFilter;  
  32. import org.apache.hadoop.hbase.filter.PageFilter;  
  33. import org.apache.hadoop.hbase.filter.PrefixFilter;  
  34. import org.apache.hadoop.hbase.filter.QualifierFilter;  
  35. import org.apache.hadoop.hbase.filter.RandomRowFilter;  
  36. import org.apache.hadoop.hbase.filter.RegexStringComparator;  
  37. import org.apache.hadoop.hbase.filter.RowFilter;  
  38. import org.apache.hadoop.hbase.filter.SingleColumnValueExcludeFilter;  
  39. import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;  
  40. import org.apache.hadoop.hbase.filter.SkipFilter;  
  41. import org.apache.hadoop.hbase.filter.SubstringComparator;  
  42. import org.apache.hadoop.hbase.filter.TimestampsFilter;  
  43. import org.apache.hadoop.hbase.filter.ValueFilter;  
  44. import org.apache.hadoop.hbase.filter.WhileMatchFilter;  
  45. import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;  
  46. import org.apache.hadoop.hbase.util.Bytes;  
  47. import org.apache.hadoop.hbase.util.Pair;  
  48. publicclass HbaseUtils {  
  49.     publicstatic Admin admin = null;  <

相關推薦

hbase資料查詢及過濾器詳細使用

地址：https://blog.csdn.net/m0_37739193/article/details/73615016本文介紹了在hbase中簡單的資料查詢及過濾器（比較全）的使用，程式碼和命令均經過本人實測通過，辛苦的將這些整理出來為以後方便查詢建立並插入資料：hbas

EFK 配置geo-ip落地實踐（三）經緯度資料查詢及格式化輸出

經過之前的工作，目前已經完成了資料地圖的資料格式化和錄入記錄，目前我們的資料地圖專案已經進行到最後階段，所以現在需要一個介面，進行格式化資料並輸出，其中需要用到Elasticsearch的全文檢索，檢索出資料後，使用php介面格式化資料輸出 一、全文檢索 搜尋條件（時間，空間） 輸出結果（使用者

c# +SQL+OFFICE excel出庫資料查詢及匯出

1.效果圖： 2.FORM1 SOURCE CODE: using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Draw

HBase多條件及分頁查詢的一些方法

nosql數據庫 應用場景 實現簡單 信息 byte 多條 多個 不可用 寫性能 HBase是Apache Hadoop生態系統中的重要一員，它的海量數據存儲能力，超高的數據讀寫性能，以及優秀的可擴展性使之成為最受歡迎的NoSQL數據庫之一。它超強的插入和讀取性能與它的數據

Django入門教程(四)模板的查詢順序與渲染及過濾器的使用

模板的渲染：檢視函式在返回response的時候，返回的是一個html檔案，並且會傳遞一些資料給html，最終將這些資料展示在頁面上。 Django中提供了一個templates資料夾，用於存放所有的html檔案。 templates資料夾的建立位置： 1、在專案根目錄下建立：這

小程式開發----表單資料提交及編輯回顯資料（特別值得看，超詳細）

近些天，我在寫表單資料提交及回顯問題，中間遇到了很多坑，經過看文件，各種百度，從而一一解決。 表單中包括的東西特別多，從API可以看得出來，小程式API中的表單有：ｉｎｐｕｔ／ｂｕｔｔｏｎ／ｐｉｃｋｅｒ／ｌａｂｅｌ等，我主要用到了ｉｎｐｕｔ／ｂｕｔｔｏｎ／ｐｉｃｋｅｒ，其中在ｐｉｃｋｅｒ問題的

django分頁查詢及對已經分頁的資料進行查詢，對條件查詢後的資料再次分頁

#適用於妹子UI的分頁前端,其他的也沒問題，稍做修改即可 #對已經分頁的資料進行查詢，對查詢後的資料再次進行分頁 #思路：url請求除了需要帶current page 還需要帶查詢的內容，以此判斷是否查詢後的資料分頁 直接上程式碼： pages：包含兩個類1. Pagination表示對全部

layui資料庫查詢及資料處理

資料庫資料查詢及返回資料（例）： //********************************************************************************** case 'getmess': $page = $_REQUEST['

jfinal+hbase+eclipse開發web專案詳細步驟04---在web頁面實現對hbase資料庫資料的增刪查改功能

首先提醒大家，本節是在步驟01、步驟02、步驟03都成功的基礎上做進一步開發。如果在之前的任何一個步驟出現問題，那麼希望你先解決好問題之後，再做本次的開發。 步驟1：建表。 1、開啟我們虛擬機器，並且啟動hadoop、hbase start-all.sh start

查詢資料結構及Mysql資料庫索引原理(B-/+Tree)

轉載：https://blog.csdn.net/u014800380/article/details/64441164 摘要： 本文內容主要來源於網際網路上主流文章，只是按照個人理解稍作整合，後面附有參考連結。 https://yq.aliyun.co

hadoop之hbase資料分頁查詢

package page; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.conf.Configuration; import org.apac

以太坊區塊資料儲存及查詢流程

以太坊區塊資料儲存 字首 core/rawdb/schema.go // databaseVerisionKey tracks the current database version. databaseVerisionKey = []byte("DatabaseVersion"

資料結構——二叉查詢樹的詳細實現(c++)

本文實現了二叉查詢樹的前序遍歷（遞迴與非遞迴）、中序遍歷（遞迴與非遞迴）、後序遍歷（遞迴與非遞迴）、插入過程、刪除過程、查詢過程等。 二叉樹的簡單介紹： 1、二叉樹中的每個節點都不能有多餘兩個的兒子。 2、二叉樹的深度要比N小得多。 假設每個節點被指

股票實時資料介面 香港股市詳細查詢

股票實時資料介面呼叫程式碼返回示例，實現股票編號、股票名稱、今日開盤價、前收盤價、最高價、最低價、最新價、漲跌、漲跌幅、買入價、賣出價、成交額、成交量、市盈率等等查詢。 介面平臺：api 介面地址：http://web.juhe.cn:8080/finance/stock/hk 支援格式：JSON 請求方

shell指令碼批量實現空資料夾查詢及刪除操作

話不多說,直接上程式碼: #!/bin/bash #刪除evt資料夾下所有空資料夾 #判斷資料夾是否為空函式 is_empty_dir(){ return `ls -A $1 | wc -w` } #要測試的資料夾在./evt目錄下 folder="./evt" for file i

mongoDB基礎篇——NoSQL特性及MongoDB資料查詢

 本文將進一步介紹MongoDB的特點，深入瞭解面向集合操作的資料庫增刪改查。 一、MongoDB特性 結合傳統關係型資料庫，我們從以下四個方面再度深入認識NoSQL資料庫，以MongoDB為

hbase模糊查詢key刪除指定建立時間的資料

1、轉換建立時間 shell指令碼 current="2018-10-28 19:00:00" timeStamp=`date -d "$current" +%s` currentTimeStamp=$((timeStamp*1000+`date "+%N"`/1000000)) echo $cur

通過hive表整合查詢hbase資料

大家知道，直接從hbase的讀取資料是一個比較繁鎖的過程，需要java程式碼或是spark 查詢 通過Hive整合HBase,可以通過hive表查詢hbase資料，下面是測試過程 --建立hbase表 create "user","account","address","i

HBase資料塊編碼壓縮機制調優及客戶端API 新版本最佳實踐-OLAP商業環境實戰

版權宣告：本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。QQ郵箱地址：[email protected]，如有任何技術交流，可隨時聯絡。 網上的Hbase調優資料參差不齊，實在是不

mvc的過濾器學習-資料查詢

濾波 所有 管道 創建 -s 捕獲異常 註冊 cep 取消 標題：Filtering in ASP.NET MVC 地址：https://docs.microsoft.com/en-us/previous-versions/aspnet/gg416513(v=vs.98