1. 程式人生 > >HBase常用功能和HBase+MapReduce使用總結

HBase常用功能和HBase+MapReduce使用總結

1.HBase如果加了列限定,如果該列不存在時返回的結果為empty.

        看下面的程式碼:

?
1 2 Get get = new Get(Bytes.toBytes("100")); get.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));

這裡加入了列限定,也就是隻返回列族info下面的name欄位。但是如果name欄位根本不存在,返回的Result在呼叫result.isEmpty()時則返回為true,也就是說就算其他欄位存在,也什麼都沒返回來,包括rowkey也沒有返回來。當然,如果是限定多個列,只要一個列存在就可以正常返回。所以需要注意。

2.HBase在scan時指定的StartRow裡面不能加-

看下面的程式碼:

?
1 2 3 4 Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes("3136947-")); scan.setStopRow(Bytes.toBytes("3136947-" + 1));
我的本意是查詢rowkey以 3136947- 開頭的行,但是因為我的裡面有一個-(“槓”),所以什麼都沒返回,去掉-後正常。這說明這裡是不能使用-,-也並不是轉義字元,轉義後也還是scan不出來的。不知道其他字元是不是也不行,沒有測試。 所以需要注意。

3.HBase在scan時過濾掉指定列不存在的記錄

如果想返回某個欄位必須存在的行,不存在該欄位的記錄過濾掉不返回,方法如下:

?
1 2 3 4 5 6 7 8 9 10 11 12 Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes("3136947")); scan.setStopRow(Bytes.toBytes("3136947" + 1)); scan.addColumn(Bytes.toBytes(
"info"), Bytes.toBytes("name")); SingleColumnValueFilter filter = new SingleColumnValueFilter(Bytes.toBytes("info"), Bytes.toBytes("name"), CompareFilter.CompareOp.NOT_EQUAL, Bytes.toBytes("0")); filter.setFilterIfMissing(

相關推薦

HBase常用功能HBase+MapReduce使用總結

1.HBase如果加了列限定,如果該列不存在時返回的結果為empty.         看下面的程式碼: ? 1 2 Get get = new Get(Bytes.toBytes("100")); get.addC

HBASE 常用語法phoenix 配置

hadoop伺服器監控網址 使用賬號從ssh登入,進入HADOOP_HOME目錄。 hadoop安裝目錄:/usr/lib/hadoop/ 啟動Hadoop 執行sh bin/start-all.sh 或 關閉Hadoop ·        執行sh bin/stop

【騰訊雲】CVM的功能優勢學習總結

騰訊雲 騰訊雲的功能 騰訊雲的特點 騰訊雲的功能與優勢具有以下幾個方面:提供全面的服務彈性的雲端CVM的管理平臺可靠CVM極速的CVM性能多種解決方案來保證CVM和數據的安全簡單易用多種計費模式,降低IT投入成本騰訊雲CVM提供了全方面的服務內容,具體為以下幾類:實現了多region多zone覆蓋

.NET常用功能程式碼

1. 開啟新的視窗並傳送引數: 傳送引數:response.write("<script>window.open('*.aspx?id="+this.DropDownList1.SelectIndex+"&id1="+...+"')</script&

ExtJS中常用函式(自己總結的,不完全)

Ext類1.  Ext.onReady(Function fn,Object scope,boolean override)2.  Ext.get(Mixed el)3.  Ext.select(String/Array selector,[Boolean unique],[

Hbase常用優化、Hbae效能優化、Hbase優化經驗總結

Hbase優化 1.預先分割槽 預設情況下,在建立 HBase 表的時候會自動建立一個 Region 分割槽,當匯入資料的時候,所有的 HBase 客戶端都向這一個 Region 寫資料,直到這個 Region 足夠大了才進行切分。一種可以加快批量寫入速度的方法是通過預先建立一些空的 Reg

hive 表關聯hbase表 命令總結

    在hive shell中建立關聯表的命令如下: CREATE TABLE hive表名(rowkey date-type, value1 date-type, value2 date-type, value3 date-type) STO

HBaseHBase功能元件、整合MapReduce的方式及資料遷移

1、HBase體系架構 各個功能元件闡述如下: (1)Client 整個HBase叢集的訪問入口; 使用HBase RPC機制與HMaster和HRegionServer進行通訊; 與HMaster進行通訊進行管理類操作; 與HRegionServer進行資

hbase shell基礎常用命令詳解(轉)

hbase提供了一個shell的終端給使用者互動。使用命令hbase shell進入命令介面。通過執行 help可以看到命令的幫助資訊。 以網上的一個學生成績表的例子來演示hbase的用法。 name grad course math art Tom 5 97 87 Jim 4 8

hbase常用查詢總結

1、巧妙的資料行數查詢 顯然hbase做count是個非常困難的事,所以有時要查一個ID的時間段的次數,就可以結合STARTROW -STOPROW還結合著做,可以指定一個列加快查詢速度。說明:此處是rowkey = busNo+time+5位隨機數。 scan 'HBS_

使用ganglia 實現監控 hadoop hbase(詳細過程總結

一,環境準備      hadoop 2.8.2 分散式環境(三個節點 安裝請參考 hadoop分散式環境安裝)      hbase 1.2.6  分散式環境(三個節點 ,安裝參考hbase分散式環境安裝 )      主節點採用 ubuntu 16.04 桌面版 ,從

【Hadoop】HBase、HDFSMapReduce架構異同簡解

HBase、HDFS和MapReduce架構異同 .. HBase(公司架構模型) HDFS2.0(公司架構模型) MR2.0(公司架構模型) MR1.0(公司架構模型)

【轉載】Hadoop 2.7.3 Hbase 1.2.4安裝教程

啟動 運行 property new rop net 文本文 .tar.gz cor 轉載地址:http://blog.csdn.net/napoay/article/details/54136398 目錄(?)[+] 一、機器環境

python os模塊功能方法總結

isp 通用 工作 相同 使用 結束 所有 erro 大量 1 os.sep 可以取代操作系統特定的路徑分割符 2 os.linesep 字符串給出當前平臺使用的行終止符。例如,Windows使用‘\r\n‘,Linux使用‘\n‘ 而Mac使用‘\r‘。

HiveHbase的區別

缺點 每一個 oop 設備 actions 利用 計數 映射 編寫 1. 兩者分別是什麽? Apache Hive是一個構建在Hadoop基礎設施之上的數據倉庫。通過Hive可以使用HQL語言查詢存放在HDFS上的數據。HQL是一種類SQL語言,這種語言最終被轉化為M

HDFS的快照原理Hbase基於快照的表修復

才會 vertical 根據 註意 efault 失敗 機制 soft hot 前一篇文章《HDFS和Hbase誤刪數據恢復》主要講了hdfs的回收站機制和Hbase的刪除策略。根據hbase的刪除策略進行hbase的數據表恢復。本文主要介紹了hdfs的快照原理和根據快照進

hbase的寫讀,大合並小合並

記錄 tar 如果 集群 使用 sca hbase lac 完整 Hbase寫: 客戶端向hbase服務器端發送寫的請求時,hbase會同時進行兩個動作,把記錄寫在WAL(write ahead log)日誌文件中,每臺服務器所有表都共享這個WAL文件。然後會寫到memSt

Go常用功能總結一階段

sep format 字節數組 ngx str1 [] 構造函數 當前時間 mat 1. go語言從鍵盤獲取輸入內容   <1. 最簡單的辦法是使用 fmt 包提供的 Scan 和 Sscan 開頭的函數。請看以下程序: package main import "

HBase流量限制表負載均衡剖析

hba https 均衡 des 間接 ges log4j hmaster 內容 1.概述   在HBase-1.1.0之前,HBase集群中資源都是全量的。用戶、表這些都是沒有限制的,看似完美實則隱患較大。今天,筆者就給大家剖析一下HBase的流量限制和表的負載均衡。

淺談HiveHBase區別

但是 hql 應該 hdf 目前 http 返回 最重要的 hadoop基礎 出處: http://www.cnblogs.com/zlslch/p/5659641.html . 兩者分別是什麽?   Apache Hive是一個構建在Hadoop基礎設施之上的數