1. 程式人生 > >HBASE部分:HBASE的常用操作

HBASE部分:HBASE的常用操作

HBASE比較特殊

配置:需要叢集

1. 解壓 hbase 安裝包

[[email protected] sxt]# tar xf hbase-0.98.12.1-hadoop2-bin.tar.gz

2. 配置環境變數

[[email protected] sxt]#

vi + /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_67 export PATH=$PATH:$JAVA_HOME/bin export HADOOP_PREFIX=/opt/sxt/hadoop-2.6.5 export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin export ZOOKEEPER_PREFIX=/opt/sxt/zookeeper-3.4.6 export PATH=$PATH:$ZOOKEEPER_PREFIX/bin export HBASE_HOME=/opt/sxt/hbase-0.98.12.1 export PATH=$PATH:$HBASE_HOME/bin

[[email protected] sxt]# . /etc/profile

3. hbase-env.sh 中配置 JAVA_HOME[[email protected] sxt]# cd hbase-0.98.12.1/conf/ [[email protected] conf]# vi hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_67

4. 修改 hbase-site.xml 配置檔案

[[email protected] conf]# vi hbase-site.xml hbase.rootdir file:///var/hbase/local hbase.zookeeper.property.dataDir /var/hbase/local/zookeeper

5. 啟動 hbase [[email protected] conf]# start-hbase.sh

6. 進入 hbase 命令列

[[email protected] conf]# hbase shell

命令 hbase 刪除已經打好的命令:ctrl+backspace

hbase(main):002:0> version

0.98.12.1-hadoop2, rb00ec5da604d64a0bdc7d92452b1e0559f0f5d73, Sun May 17 12:55:03 PDT 2015

hbase(main):003:0> whoami

SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/sxt/hbase-0.98.12.1/lib/slf4j-log4j12- 1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/sxt/hadoop-2.6.5/share/hadoop/common/lib/slf4jlog4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBi nder.class]SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. root (auth:SIMPLE) groups: root 建表 表名 列族 列族 hbase(main):004:0>hbase(main):006:0> create 'person','name', 'age'

檢視有哪些表

hbase(main):007:0> list

TABLE person 查看錶描述

hbase(main):010:0> describe 'person'

Table person is ENABLED person COLUMN FAMILIES DESCRIPTION {NAME => 'age', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'} {NAME => 'name', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'} NAME:列族名 VERSIONS:最大版本號 MIN_VERSIONS:最小版本號 TTL(Time To Live):存活時間 IN_MEMORY:是否開啟快取,預設 false,應該開啟,否則與 BLOCKCACHE 衝突 BLOCKCACHE:讀快取是否開啟,預設開啟,64M 插入資料 hbase(main):012:0> put 'person','0001','name:firstname','Jed' hbase(main):013:0> put 'person','0001','age:zhousui','20' 檢視全部資料

hbase(main):014:0> scan 'person' ROW COLUMN+CELL 0001 column=age:zhousui, timestamp=1499929503879, value=20 0001 column=name:firstname, timestamp=1499929407656, value=Jed 檢視個別資料

hbase(main):015:0> get 'person','0001','name:firstname' COLUMN CELL name:firstname timestamp=1499929407656, value=Jed 修改資料 hbase(main):016:0> put 'person','0001','name:firstname','Tom'

hbase(main):017:0> get 'person','0001','name:firstname' COLUMN CELL name:firstname timestamp=1499929924936, value=Tom 查看錶空間

hbase(main):018:0> list_namespace NAMESPACE default #使用者建立的表放在這裡 hbase #系統表空間 進入存放資料的目錄/var/hbase/local(在 hbase-site.xml 中配置過)

[[email protected] ~]# cd /var/hbase/local/

[[email protected] local]# ls archive data hbase.id hbase.version oldWALs WALs zookeeper data 是存放資料的目錄,oldWAL 和 WALs 是 Hlog

[[email protected] local]# cd data

[[email protected] data]# ls default hbase

[[email protected] data]# cd default/

[[email protected] default]# ls person

[[email protected] default]# cd person/

[[email protected] person]# ls b14e1200e562fb736ce81df88d712823

[[email protected] person]# cd b14e1200e562fb736ce81df88d712823/

[[email protected] b14e1200e562fb736ce81df88d712823]# ls age name

[[email protected] b14e1200e562fb736ce81df88d712823]# cd age

[[email protected] age]# cd ls

總用量 0 age 和 name 下沒有資料,因為資料還在記憶體中,我們設定強制溢寫

hbase(main):028:0> flush 'person'

[email protected] b14e1200e562fb736ce81df88d712823]# cd age/

[[email protected] age]# ls 06c01947d23e4fafa3a95bd407cc8c94

[[email protected] age]# hbase hfile -p -f 06c01947d23e4fafa3a95bd407cc8c94 K: 0001/age:zhousui/1499931020776/Put/vlen=2/mvcc=0 V: 20 刪除表

hbase(main):021:0> disable 'person' #先讓表禁用 hbase(main):022:0> drop 'person' #再刪除表 HBase

HBASE中需要主備模式

HBASE中刪除表需要修改成disabled模式

HBASE中修改表中資料,需要設定表為enabled

HBASE中建表需要設定列族

HBASE中載入資料用put,並且還要加上資料ID號

HBASE的埠號是60010

相關推薦

HBASE部分HBASE常用操作

HBASE比較特殊 配置:需要叢集 1. 解壓 hbase 安裝包 [[email protected] sxt]# tar xf hbase-0.98.12.1-hadoop2-bin.tar.gz 2. 配置環境變數 [[email prot

HBASE部分HBASE的架構

HBASE的架構: Client 包含訪問HBase的介面並維護cache來加快對HBase的訪問 Zookeeper 保證任何時候,叢集中只有一個master 存貯所有Region的定址入口。 實時監控Region server的上線和下線資訊。 並實時

MongoDB使用小結一些常用操作分享

hist b數 文件 存儲信息 無法拷貝 分享 rand case accep 本文整理了一年多以來我常用的MongoDB操作,涉及mongo-shell、pymongo,既有運維層面也有應用層面,內容有淺有深,這也就是我從零到熟練的歷程。 Mong

HBase(2)hbase物理模型結構

一.物理結構圖 二.關鍵概念 1.儲存單元Cell (1)儲存單元cell:rowkey+列簇+timestamp+version,確定一個單元格的值  (2)資料無型別,以位元組碼的形式進行儲存 2.Region (1)列分割:table中所有的行都是按照字典序

Phoenix(2)Phoenix常用操作

一、基本原則 1.phoenix中的表名和欄位名不加雙引號,都為大寫,加上雙引號,則區分大寫; 2.phoenix和RDBMS中一樣,有資料型別 3.插入資料時,values中數值型別不用引號,字串只能是單引號 二、常用語句 1.建立表 create table us_populat

MySqlSQL常用操作、函式、事物和索引

MySQL是一個關係型資料庫管理系統,在開始學習MySQL資料庫前,讓我們先了解下RDBMS的一些術語: 資料庫: 資料庫是一些關聯表的集合。 資料表: 表是資料的矩陣,在一個數據庫中的表看起來像一個簡單的電子表格。 列:一列(資料元素) 包含了相同的資料,例如郵政編碼

Python爬蟲Selenium常用操作,下載youtube視訊例項

selenium常用操作: from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait

Python爬蟲BeautifulSoup常用操作

此筆記沒有做太多實驗,僅做參考,具體情況還要檢視文件:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id4 初始化: from bs4 import BeautifulSoup # 從檔案獲取 soup = Be

python大規模資料處理技巧之一資料常用操作

面對讀取上G的資料,python不能像做簡單程式碼驗證那樣隨意,必須考慮到相應的程式碼的實現形式將對效率的影響。如下所示,對pandas物件的行計數實現方式不同,執行的效率差別非常大。雖然時間看起來都微不足道,但一旦執行次數達到百萬級別時,其執行時間就根本不可能

HBase案例HBase 在人工智能場景的使用

pic 節點 加速 alt mysql 對象存儲 人工 rowkey 進制數 近幾年來,人工智能逐漸火熱起來,特別是和大數據一起結合使用。人工智能的主要場景又包括圖像能力、語音能力、自然語言處理能力和用戶畫像能力等等。這些場景我們都需要處理海量的數據,處理完的數據一般都需要

HBase案例HBase 在人工智慧場景的使用

近幾年來,人工智慧逐漸火熱起來,特別是和大資料一起結合使用。人工智慧的主要場景又包括影象能力、語音能力、自然語言處理能力和使用者畫像能力等等。這些場景我們都需要處理海量的資料,處理完的資料一般都需要儲存起來,這些資料的特點主要有如下幾點: 大:資料量越大,對我們後面建模越會有好處; 稀疏:每行資料

hbase總結hbase client訪問的超時時間、重試次數、重試間隔時間的配置

超時時間、重試次數、重試時間間隔的配置也比較重要,因為預設的配置的值都較大,如果出現hbase叢集或者RegionServer以及ZK關掉,則對應用程式是災難性的,超時和重新等會迅速佔滿web容器的連結,導致web容器停止服務,關於socket的超時時間,有兩種:1:建立連

HBaseHBase筆記HBase的Region機制

        HBase 的機制裡包含了許多優秀的演算法,如 Region 定位、Region 分配、Region Server的上線和下線、Master 的上線和下線。在談到這些之前,先把 HBa

Hbase常用操作命令

desc repl col 目錄 刪除 AR shel BE 說明 Hbase常用操作命令 1. 進入hbase ./hbase shell 參數說明 進入到hbase目錄並進入hbase 2. 瀏覽所有表 list 參數說明

Java API操作HBase

package com.zoujc.Utils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*;

Java API操作HBase

package com.zoujc.Utils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.fil

Hbase 命令快照操作

Hbase 命令:快照操作 1、產生快照:    snapshot ‘tableName’, ‘snapshotName’ 2、列出所有快照:    list_snapshots     3、刪除

HBase 常用Shell命令

自:http://my.oschina.net/u/189445/blog/595232   兩個月前使用過hbase,現在最基本的命令都淡忘了,留一個備查~   hbase shell命令    &

Hbase常用操作整理(持續更新)

1. 查詢操作 HBase中rowkey可以唯一標識一行記錄,在HBase查詢的時候,有以下幾種方式: 通過get方式,指定rowkey獲取唯一一條記錄 通過scan方式,設定startRow和stopRow引數進行範圍匹配 全表掃描,即直接掃描整張表中所有行

HBase常用操作之namespace

1、介紹在HBase中,namespace名稱空間指對一組表的邏輯分組,類似RDBMS中的database,方便對錶在業務上劃分。Apache HBase從0.98.0, 0.95.2兩個版本開始支援namespace級別的授權操作,HBase全域性管理員可以建立、修改和回收