2. 程式人生 > >hbase 原始碼解析（21） 自定義過濾器

hbase 原始碼解析（21） 自定義過濾器

阿新 • • 發佈：2019-01-10
filter 需要實現Filter 或者繼承FilterBase
  1. @InterfaceAudience.Public
  2. @InterfaceStability.Stable
  3. public abstract class Filter{
  4. //返回碼
  5. public enum ReturnCode{
  6. INCLUDE, //結果中包含著一樣
  7. INCLUDE_AND_NEXT_COL, //包含著這樣一行，跳到下一行比較
  8. SKIP, //跳到下一個keyvalue 並進行處理
  9. NEXT_COL, //跳過當前一col
  10. NEXT_ROW, //跳過當前一行
  11. SEEK_NEXT_USING_HINT, //跳到下一個滿足地方，需要呼叫getNextKeyHint（）
  12. }
  13. protected transient boolean reversed;
  14. abstract public void reset() throws IOException;
  15. //判斷行健是否滿足，不滿足可以跳過，避免其他檢查：比如字首過濾器
  16. abstract public boolean filterRowKey(byte[] buffer, int offset, int length) throws IOException;
  17. //這個過濾器可以提前結束
  18. abstract public boolean filterAllRemaining() throws IOException;
  19. //對cell處理，
  20. abstract public ReturnCode filterKeyValue(final Cell v) throws IOException;
  21. abstract public Cell transformCell(final Cell v) throws IOException;
  22. @Deprecated// use Cell transformCell(final Cell)
  23. abstract public KeyValue transform(final KeyValue currentKV) throws IOException;
  24. //經過前面處理後，如果還有資料，將對當前行一起處理， 比如依賴過去器
  25. abstract public void filterRowCells(List<Cell> kvs) throws IOException;
  26. abstract public boolean hasFilterRow()；
  27. //經過這麼多流程如果還有資料，會去檢查一下資料的要求。比如pagefilter 是否已經夠一頁了
  28. abstract public boolean filterRow() throws IOException;
  29. @Deprecated
  30. abstract public KeyValue getNextKeyHint(final KeyValue currentKV) throws IOException;
  31. abstract public Cell getNextCellHint(final Cell currentKV) throws IOException;
  32. abstract public boolean isFamilyEssential(byte[] name) throws IOException;
  33. abstract public byte[] toByteArray() throws IOException;
  34. public static Filter parseFrom(final byte [] pbBytes) throws DeserializationException {
  35. throw new DeserializationException(
  36. "parseFrom called on base Filter, but should be called on derived type");
  37. }
  38. abstract boolean areSerializedFieldsEqual(Filter other);
  39. public void setReversed(boolean reversed) {
  40. this.reversed = reversed;
  41. }
  42. public boolean isReversed() {
  43. return this.reversed;
  44. }
  45. }
流程如下： scan，或者get是呼叫的入口 基本流程就是下面 一樣，但是沒有看到fiterKeyValue，如果你們找到了，告訴我一聲。
  1. private boolean nextInternal(List<Cell> results,ScannerContext scannerContext)
  2. throws IOException{
  3. while(true){
  4. boolean stopRow = isStopRow(currentRow, offset, length);
  5. boolean hasFilterRow = this.filter != null && this.filter.hasFilterRow();
  6. if (hasFilterRow) {
  7. if (LOG.isTraceEnabled()) {
  8. LOG.trace("filter#hasFilterRow is true which prevents partial results from being "
  9. + " formed. Changing scope of limits that may create partials");
  10. }
  11. scannerContext.setSizeLimitScope(LimitScope.BETWEEN_ROWS);
  12. scannerContext.setTimeLimitScope(LimitScope.BETWEEN_ROWS);
  13. }
  14. if (filterRowKey(currentRow, offset, length)) {
  15. incrementCountOfRowsFilteredMetric(scannerContext);
  16. // early check, see HBASE-16296
  17. //filterAllRemaining 實際呼叫
  18. if (isFilterDoneInternal()) {
  19. return scannerContext.setScannerState(NextState.NO_MORE_VALUES).hasMoreValues();
  20. }
  21. incrementCountOfRowsScannedMetric(scannerContext);
  22. //裡面會呼叫filter.reset();
  23. boolean moreRows = nextRow(scannerContext, currentRow, offset, length);
  24. if (!moreRows) {
  25. return scannerContext.setScannerState(NextState.NO_MORE_VALUES).hasMoreValues();
  26. }
  27. results.clear();
  28. continue;
  29. }
  30. populateResult(results, this.storeHeap, scannerContext, currentRow, offset, length);
  31. Cell nextKv = this.storeHeap.peek();
  32. stopRow = nextKv == null ||
  33. isStopRow(nextKv.getRowArray(), nextKv.getRowOffset(), nextKv.getRowLength());
  34. final boolean isEmptyRow = results.isEmpty();
    1. FilterWrapper.FilterRowRetCode ret =FilterWrapper.FilterRowRetCode.NOT_CALLED;
  36. if(hasFilterRow){
  37. //會呼叫filterRowCells（List） 和filterRowCells（cell）
  38. ret = filter.filterRowCellsWithRet(results);
  39. long timeProgress = scannerContext.getTimeProgress();
  40. if (scannerContext.getKeepProgress()) {
  41. scannerContext.setProgress(initialBatchProgress, initialSizeProgress,
  42. initialTimeProgress);
  43. } else {
  44. scannerContext.clearProgress();
  45. }
  46. scannerContext.setTimeProgress(timeProgress);
  47. scannerContext.incrementBatchProgress(results.size());
  48. for (Cell cell : results) {
  49. scannerContext.incrementSizeProgress(CellUtil.estimatedHeapSizeOfWithoutTags(cell));
  50. }
  51. }
  52. if (isEmptyRow || ret == FilterWrapper.FilterRowRetCode.EXCLUDE || filterRow()) {
  53. incrementCountOfRowsFilteredMetric(scannerContext);
  54. results.clear();
  55. boolean moreRows = nextRow(scannerContext, currentRow, offset, length);
  56. if (!moreRows) {
  57. return scannerContext.setScannerState(NextState.NO_MORE_VALUES).hasMoreValues();
  58. }
  59. if (!stopRow) continue;
  60. return scannerContext.setScannerState(NextState.NO_MORE_VALUES).hasMoreValues();
  61. }
  62. if (this.joinedHeap != null) {
  63. boolean mayHaveData = joinedHeapMayHaveData(currentRow, offset, length);
  64. if (mayHaveData) {
  65. joinedContinuationRow = current;
  66. populateFromJoinedHeap(results, scannerContext);
  67. if (scannerContext.checkAnyLimitReached(LimitScope.BETWEEN_CELLS)) {
  68. return true;
  69. }
  70. }
  71. }
  72. } else {
  73. populateFromJoinedHeap(results, scannerContext);
  74. if (scannerContext.checkAnyLimitReached(LimitScope.BETWEEN_CELLS)) {
  75. return true;
  76. }
  77. }
  78. if (stopRow) {
  79. return scannerContext.setScannerState(NextState.NO_MORE_VALUES).hasMoreValues();
  80. } else {
  81. return scannerContext.setScannerState(NextState.MORE_VALUES).hasMoreValues();
  82. }
  83. }
  84. }
就這樣。 自定義完成後，打成jar ，需要export export HBASE_CLAPSS  或者將jar 放到hbase 的安裝目錄的lib下面，重啟hbase

相關推薦

hbase 原始碼解析（21） 自定義過濾器

filter 需要實現Filter 或者繼承FilterBase @[email protected] abstract class Filter{//返回碼 public enum Re

SSM + Shiro 整合 （5）- 自定義過濾器及許可權解析器、介紹許可權匹配流程

關於 Shiro 的許可權匹配器和過濾器 上一節，我們實現了自定義的 Realm，方式是繼承 AuthorizingRealm 這個抽象類，分別實現認證的方法和授權的方法。 這一節實現的程式碼的執行順序： 1、Shiro定義的過濾器和自定義的過濾器，在

Github專案解析（六）-->自定義實現ButterKnife框架

目前在  友友用車  專案中使用到了ButterKnife框架，這是一個通過註解的方式簡化程式設計師程式碼量，自動對映xml佈局檔案與物件關係的框架。使用了這個框架之後很大程度上簡化程式設計師的工作量，提高了工作效率，讓程式設計師們不在編寫findViewB

spring原始碼（9）自定義標籤與自定義標籤的解析

一、自定義標籤 建立model package com.demo3; /** * * @author dqf * @since 5.0 */ public class User {

Spring Boot 學習系列（05）—自定義檢視解析規則

此文已由作者易國強授權網易雲社群釋出。 歡迎訪問網易雲社群，瞭解更多網易技術產品運營經驗。 自定義檢視解析 在預設情況下Spring Boot 的MVC框架使用的檢視解析ViewResolver類是ContentNegotiatingViewResolver，這個解析器比較智慧，它會根據你的請求型別（一

註解（Annotation）自定義註解（四）--編譯期註解解析講解和手寫ButterKnife

註解（Annotation）自定義註解（四）–編譯期註解解析講解和手寫ButterKnife 前言 前面兩篇講解了執行期註解的使用和xutils原始碼的解析，以及手動打造自己的IOC框架。但是執行期註解由於效能問題被一些人所詬病，所以這裡我們講下編譯器註

學習JUC原始碼（2）——自定義同步元件

前言 　　在之前的博文（學習JUC原始碼（1）——AQS同步佇列（原始碼分析結合圖文理解））中，已經介紹了AQS同步佇列的相關原理與概念，這裡為了再加深理解ReentranLock等原始碼，模仿構造同步元件的基本模式，編寫不可重複的互斥鎖Mutex與指定共享執行緒數量的共享鎖。MyS

[轉]畢設- 深入HBase架構解析（一）

mil https 文件存儲 back 高效 索引 asa dia 隨機 深入HBase架構解析（一） 前記 公司內部使用的是MapR版本的Hadoop生態系統，因而從MapR的官網看到了這篇文文章：An In-Depth Look at the HBase Ar

[轉]畢設- 深入HBase架構解析（二）

node 角度 發送 under 收集 .org fig 服務器 url 深入HBase架構解析（二） 前言 這是《深入HBase架構解析（一）》的續，不多廢話，繼續。。。。 HBase讀的實現 通過前文的描述，我們知道在HBase寫時，相同Cell(RowKe

AngularJs學習筆記（4）——自定義指令

ref 告訴 ack 生命周期 .com bsp ctrl 參數變量 ng- 對指令的第一印象：它是一個自定義標簽！ 先來看一個簡單的指令： <!doctype html> <html ng-app="myApp"> <head>

微信公眾平臺開發教程（五）自定義菜單

打開鏈接 delete toolbar 推送 優化 pcl reader 接口查詢 robot 應大家強烈要求，將自定義菜單功能課程提前。 一、概述： 如果只有輸入框，可能太簡單，感覺像命令行。自定義菜單，給我們提供了很大的靈活性，更符合用戶的操作習慣。在一個小小的微信對話

JS基礎（五）自定義函數

調用函數 pre 基礎 clas 自定義 語句 ... 全局 blog 作用：是為了讓重復使用的語句，方便進行調用。 定義格式： function 自定義函數名 (參數1, 參數2,...) { 執行的語句 } 函數的封裝：把語句放到函數中去的過程。 參數：通過

WPF自定義控件（四）の自定義控件

自己 setvalue prop 一個 自己的 支持 property get element 在實際工作中，WPF提供的控件並不能完全滿足不同的設計需求。這時，需要我們設計自定義控件。 這裏LZ總結一些自己的思路，特性如下： Coupling UITemplate Be

Django 表單（中下）- 自定義鉤子進行數據驗證

form hook 在前面的例子裏面 http://beanxyz.blog.51cto.com/5570417/1963702，已經演示了form可以自動地對正則進行合法的判斷，如果不合法，會直接顯示錯誤信息。但是這個功能並不完善，比如說一個數據可能正則判斷合法了，但是不符合唯一性的判斷，那麽怎麽處

（4）自定義數據結構初探

lang 結構 十分 類型 是把 數據 庫類 結束 基本 從最基本的層面理解，數據結構是把一組相關的數據元素組織起來然後使用她們的策略和方法。 C++運行用戶以類的形式自定義數據類型，而庫類型是語言自身定義的，類在C++中十分重要！盡管sales_item很簡單，但要想給出

（三）自定義Realm

ssi 定義 try time public getname tid vax getc 引入依賴 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/

weex 項目開發（五）自定義 過濾函數 和 混合 及 自定義 Header 組件

定義 blog weex top ber slice ear notice earch 1.自定義 過濾函數 src / filters / index.js /** * 自定義 過濾函數 */ export function host (url) { if (

EL表達式（三）自定義 EL 表達式

abd sun title contain tld sta 參數 func lns 自定義EL函數(靜態方法): 編寫步驟: 1.編寫一個Java類，提供一個靜態方法 import java.util.List; public class GetLength {

Spring 源碼分析（四）--自定義標簽的使用

div protected 不同 space xsd文件 不同的 handle body img 在之前的代碼分析中，Spring標簽的解析分為 默認標簽和自定義標簽兩種，前一篇文章分析了Spring中對默認標簽的解析過程。 本文將分析Spring中自定義標

（12）自定義數據流（實戰Docker事件推送的REST API）——響應式Spring的道法術器

Spring WebFlux 響應式編程 本系列文章索引《響應式Spring的道法術器》前情提要 Reactor 3快速上手 | Spring WebFlux快速上手 | 響應式流規範本文 測試源碼 | 實戰源碼 2.2 自定義數據流 這一小節介紹如何通過定義相應的事件（onNext、onError