2. 程式人生 > >HBase操作

HBase操作

阿新 • • 發佈：2019-03-17
left base ron util void align tasks 單元格 pom.xml文件

1、hbase API操作

1）首先將core-site.xml、hbase-site.xml、hdfs-site.xml引入maven工程的resources下面

2）配置pom.xml文件
增加hbase依賴

<dependencies>
   <dependency>
       <groupId>org.apache.hbase</groupId>
       <artifactId>hbase-server</artifactId>
       <version>1.3.0</version>
 

   </dependency>

   <dependency>
       <groupId>org.apache.hbase</groupId>
       <artifactId>hbase-client</artifactId>
       <version>1.3.0</version>
   </dependency>
</dependencies>

3）創建HbaseTest.java

package com.hsiehchou.hbase;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class HbaseTest {
//配置信息
public static Configuration conf;
//獲取配置信息
static{
//alt + enter
conf = HBaseConfiguration.create();
}

判斷hbase中表是否存在

//1.判斷hbase中表是否存在
public static boolean
 
 isExist(String tableName) throws IOException{
    //對表操作需要用HbaseAdmin
    //HBaseAdmin admin = new HBaseAdmin(conf);老版本
    Connection connection = ConnectionFactory.createConnection(conf);
    //管理器
    HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
    return  admin.tableExists(TableName.valueOf(tableName));
}

在hbase中創建表

 //2.在hbase中創建表
    public static void createTable(String tableName, String... columnFamily) throws IOException {
        //1.如果對表操作需要使用管理器
        Connection connection = ConnectionFactory.createConnection(conf);
        HBaseAdmin admin = (HBaseAdmin)connection.getAdmin();

        //2.創建描述器
        HTableDescriptor hd = new HTableDescriptor(TableName.valueOf(tableName));

        //3.指定多個列族
        for(String cf:columnFamily){
            hd.addFamily(new HColumnDescriptor(cf));
        }

        //4.創建表
        admin.createTable(hd);
        System.out.println("表已經創建成功！！！！");
    }

bin/hbase shell操作
list
scan ‘ni’
describe ‘ni’

向表中添加數據

//3,向表中添加數據 put   rowkey  cf:列族
public static void addData(String tableName, String rowkey, String cf, String column, String value) throws IOException {
    Connection connection = ConnectionFactory.createConnection(conf);
    Table table = connection.getTable(TableName.valueOf(tableName));

    //添加數據 put方式
    Put put = new Put(Bytes.toBytes(rowkey));

    //指定列族 列 值
    put.addColumn(Bytes.toBytes(cf), Bytes.toBytes(column), Bytes.toBytes(value));

    table.put(put);
}

刪除一行數據

   //4.刪除一行數據
    public static void deleteRow(String tableName, String rowkey) throws IOException {
        Connection connection = ConnectionFactory.createConnection(conf);
        Table table = connection.getTable(TableName.valueOf(tableName));

        Delete delete = new Delete(Bytes.toBytes(rowkey));

        table.delete(delete);
    }

刪除多個rowkey的數據

  //5.刪除多個rowkey的數據
    public static void deleteMore(String tableName, String... rowkey) throws IOException {
        Connection connection = ConnectionFactory.createConnection(conf);
        Table table = connection.getTable(TableName.valueOf(tableName));

        //封裝delete
        List<Delete> d = new ArrayList<Delete>();

        //遍歷rowkey
        for(String rk:rowkey){
            Delete dd = new Delete(Bytes.toBytes(rk));
            d.add(dd);
        }

        table.delete(d);
    }

全表掃描

   //6.全表掃描
    public static void scanAll(String tableName) throws IOException {
        Connection connection = ConnectionFactory.createConnection(conf);
        Table table = connection.getTable(TableName.valueOf(tableName));

        Scan scan = new Scan();

        ResultScanner rs = table.getScanner(scan);

        //遍歷
        for(Result r:rs){
            //單元格
            Cell[] cells = r.rawCells();

            for(Cell c:cells) {
                System.out.println("rowkey為：" + Bytes.toString(CellUtil.cloneRow(c)));
                System.out.println("列族為：" + Bytes.toString(CellUtil.cloneFamily(c)));
                System.out.println("值為：" + Bytes.toString(CellUtil.cloneValue(c)));
            }
        }
    }

刪除表

  //7.刪除表
    public static void deleteTable(String tableName) throws IOException {
        //1.如果對表操作需要使用管理器
        Connection connection = ConnectionFactory.createConnection(conf);
        HBaseAdmin admin = (HBaseAdmin)connection.getAdmin();

        admin.disableTable(tableName);

        admin.deleteTable(TableName.valueOf(tableName));
    }

public static void main(String[] args) throws IOException {
//System.out.println(isExist(“user”));
//create ‘表名’,’列族名’
//createTable(“ni”,”info1”,”info2”,”info3”);
//addData(“ni”,”shanghai”,”info1”,”name”,”lilei”);
//deleteRow(“ni”,”shanghai”);
//deleteMore(“ni”,”shanghai1”,”shanghai2”);

//scanAll(“ni”);
deleteTable(“ni”);
}
}

2、hbase-MR

hbase主要擅長的領域是存儲數據，不擅長分析數據

hbase如果想計算的話需要結合hadoop的mapreduce

hbase-mr所需的jar包查看
bin/hbase mapredcp

配置臨時環境變量

export HBASE_HOME=/root/hd/hbase-1.3.0
export HADOOP_HOME=/root/hd/hadoop-2.8.4
export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`

跑hbase-mr程序
bin/yarn jar /root/hd/hbase-1.3.0/lib/hbase-server-1.3.0.jar rowcounter user

3、hbase的表操作

場景一：
region分片
指定列的過濾
name age high
name

代碼實現
ReadLoveMapper.java 

package com.hsiehchou.mr;

import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;

/**
 * HBase -MR
 * mapper類進行對數據的讀取操作
 * key:ImmutableBytesWritable hbase中的rowkey
 * value:封裝的一條條的數據
 */
public class ReadLoveMapper extends TableMapper<ImmutableBytesWritable, Put> {
    @Override
    protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
        //1.讀取數據  根據rowkey拿到數據
        Put put = new Put(key.get());

        //2.過濾列 Cell單元格
        for (Cell c:value.rawCells()){
            //拿到info列族數據  如果是info列族  取出  如果不是info 過濾掉
            if("info".equals(Bytes.toString(CellUtil.cloneFamily(c)))){
                //過濾列
                if("name".equals(Bytes.toString(CellUtil.cloneQualifier(c)))){
                    put.add(c);
                }
            }
        }
        //3.輸出到reducer端
        context.write(key,put);
    }
}

WriteLoveReducer .java

package com.hsiehchou.mr;

import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.NullWritable;

import java.io.IOException;

/**
 * keyIn:ImmutableBytesWritable
 * valueIn:Put
 * keyOut:NullWritable（在put裏面已經有了rowkey了，所以不需要了）
 */
public class WriteLoveReducer extends TableReducer<ImmutableBytesWritable, Put, NullWritable> {
    @Override
    protected void reduce(ImmutableBytesWritable key, Iterable<Put> values, Context context) throws IOException, InterruptedException {
        for (Put p:values){
            context.write(NullWritable.get(),p);
        }
    }
}

LoverDriver .java

package com.hsiehchou.mr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class LoverDriver implements Tool {

    private Configuration conf;

    public void setConf(Configuration configuration) {
        this.conf = HBaseConfiguration.create(configuration);
    }

    public Configuration getConf() {
        return this.conf;
    }

    public int run(String[] strings) throws Exception {
        //1.創建任務
        Job job = Job.getInstance(conf);

        //2.指定運行的主類
        job.setJarByClass(LoverDriver.class);

        //3.配置job
        Scan scan = new Scan();

        //4.設置具體運行的mapper類
        TableMapReduceUtil.initTableMapperJob("love",
                    scan,
                    ReadLoveMapper.class,
                    ImmutableBytesWritable.class,
                    Put.class,
                    job
                );

        //5.設置具體運行的Reducer類
        TableMapReduceUtil.initTableReducerJob("lovemr",
                    WriteLoveReducer.class,
                    job
                );

        //6.設置reduceTask
        job.setNumReduceTasks(1);

        boolean rs = job.waitForCompletion(true);

        return rs?0:1;
    }

    public static void main(String[] args) {
        try {
            //狀態碼
            int sts = ToolRunner.run(new LoverDriver(), args);
            System.exit(sts);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

場景二：
把hdfs中的數據導入到hbase表中
hbase-mr

代碼實現
ReadHdfsMapper .java

package com.hsiehchou.mr1;

import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * 讀取hdfs中的數據
 * hdfs ->hbase
 */
public class ReadHdfsMapper extends Mapper<LongWritable, Text, ImmutableBytesWritable, Put> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        //1.讀取數據
        String line = value.toString();

        //2.切分數據
        String[] fields = line.split("\t");

        //3.封裝數據
        byte[] rowkey = Bytes.toBytes(fields[0]);
        byte[] name = Bytes.toBytes(fields[1]);
        byte[] desc = Bytes.toBytes(fields[2]);

        //4.封裝成put
        Put put = new Put(rowkey);
        put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),name);
        put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("desc"),desc);

        //5.輸出到reducer
        context.write(new ImmutableBytesWritable(rowkey),put);
    }
}

WriteHbaseReducer.java

package com.hsiehchou.mr1;

import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.io.NullWritable;

import java.io.IOException;

public class WriteHbaseReducer extends TableReducer<ImmutableBytesWritable, Put, NullWritable> {

    @Override
    protected void reduce(ImmutableBytesWritable key, Iterable<Put> values, Context context) throws IOException, InterruptedException {
        for(Put p:values){
            context.write(NullWritable.get(),p);
        }
    }
}

LoveDriver.java

package com.hsiehchou.mr1;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class LoveDriver implements Tool {

    private Configuration conf = null;

    public void setConf(Configuration configuration) {
        this.conf = HBaseConfiguration.create(configuration);
    }

    public Configuration getConf() {
        return this.conf;
    }

    public int run(String[] strings) throws Exception {
        //1.創建job
        Job job = Job.getInstance();
        job.setJarByClass(LoveDriver.class);

        //2.配置mapper
        job.setMapperClass(ReadHdfsMapper.class);
        job.setMapOutputKeyClass(ImmutableBytesWritable.class);
        job.setMapOutputValueClass(Put.class);

        //3.配置reducer
        TableMapReduceUtil.initTableReducerJob("lovehdfs", WriteHbaseReducer.class, job);

        //4.輸入配置 hdfs讀數據 inputformat
        FileInputFormat.addInputPath(job,new Path("/lovehbase/"));

        //5.需要配置outputformat嗎？不需要 reducer中已經指定了表

        return job.waitForCompletion(true)? 0:1;
    }

    public static void main(String[] args) {
        try {
            int sts = ToolRunner.run(new LoveDriver(),args);
            System.exit(sts);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

4、hbase優化

1）預分區問題
region分片？表很大 bigtable

分布式？數據量大

region存儲數據，如果有多個region，每個region負責維護一部分的rowkey{startrowkey, endrowkey}
1~10001
1~2001 1980
2001~40002

分多少片？提前規劃好，提高hbase的性能
進行存儲數據前做好rowkey的預分區優化hbase

實際操作：
create ‘user_p’,’info’,’partition’,SPLITS =>[‘201’,’202’,’203’,’204’]

Table Regions

Region Server Start Key End Key
hsiehchou123:16020 -∞ 201
hsiehchou124:16020 201 202
hsiehchou124:16020 202 203
hsiehchou123:16020 203 204
hsiehchou122:16020 204 +∞

hsiehchou124:16020 201 202
hsiehchou124:16020 202 203
hsiehchou123:16020 203 204
hsiehchou122:16020 204 +∞

create ‘user_pppp’,’partition’,SPLITS_FILE => ‘partitions.txt’

partitions.txt’放在hbase-shell路徑下

2）rowkey如何設計
rowkey是數據的唯一標識，這條數據存儲在哪個分區由預分區範圍決定

合理設計rowkey
如一份數據分為5個region存儲
但是我們需要盡可能的保持每個region中的數據量差不多

盡可能的打散數據，平均分配到每個region中即可

解決方案：
生成隨機數、hash/散列值
原本的rowkey是201，hash後
dfgyfugpgdcjhgfd11412nod
202變為：
21dqddwdgjohfxsovbxiufq12

字符串拼接：
20190316_a3d4
20190316_g04f

反轉字符串：
201903161->161309102
201903162->261309102

3）hbase基礎優化
hbase用的hdfs存儲
datanode允許最大文件打開數
默認4096 調大
dfs.datanode.max.transfer.threads
hdfs-site.xml

優化等待時間
dfs.image.transfer.timeout
默認60000毫秒
調大

內存優化：
hadoop-env.sh設置內存的堆大小
30%~40%最好

2G
512m

export HADOOP_PORTMAP_OPTS=’-Xmx512m $HADOOP_PORTMAP_OPTS’

HBase操作

相關推薦

HBase 操作

port form export bulk from hbase path counter light 運行HBase自帶的MapReduceHADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` ${HADOOP_HOME

熟悉常用的HBase操作

san 信息 關系 統計表 zhang can ado hbase 包括 1. 以下關系型數據庫中的表和數據，要求將其轉換為適合於HBase存儲的表並插入數據： 學生表（Student）（不包括最後一列） 學號（S_No） 姓名（S_Name） 性別（S_S

熟悉常用的HBase操作，編寫MapReduce作業

true light 上傳文件 常用 文本 文件 關系型 清空 DC 1. 以下關系型數據庫中的表和數據，要求將其轉換為適合於HBase存儲的表並插入數據： 學生表（Student）（不包括最後一列） 學號（S_No） 姓名（S_Name） 性別（S_Sex

第9章 HBase操作

module imp modules scan all 只有一個 master artifact shell命令 目錄 9.1 集群環境搭建 1.上傳解壓HBase安裝包 2.hbase-env.sh文件配置 3.hbase-site.xml文件配置 4.regionse

熟悉常用的HBASE 操作

wke trac clas config add lose exception class except 1.查看所有表 package cn.edu.zucc.hbase; import java.io.IOException; import org.apache.

iServer整合HBase操作說明

       HBase是一款建立在Hadoop檔案系統之上的開源的分散式面向列的資料庫，採用橫向擴充套件架構。HBase是一個數據模型，類似於谷歌的大表設計，可以提供快速隨機訪問海量結構化資料，並利用了Hadoop的檔案系統（HDFS）提供的容錯

Hive連線Hbase操作資料

Hive連線Hbase操作資料   版權宣告：本文為博主原創文章，未經博主允許不得轉載。轉載請註明來自http://blog.csdn.net/lr131425 https://blog.csdn.net/lr131425/article/details/72722932 Hi

springboot+maven+hbase 操作訪問hbase並處理資料

1.maven依賴：（hbase 依賴的包中會和其他包中有衝突，所以在此選擇忽略） <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hb

HBase操作一

1 package Hbase; 2 3 import java.io.IOException; 4 import org.apache.hadoop.conf.Configuration; 5 import org.apache.hadoop.hbase.Cell; 6 im

Spark實現HIVE統計結果匯入到HBase操作

由於HIVE更新的機制極其不適應SPARK環境，於是利用HBase來執行HIVE中某些統計結果的更新。首先要做的是實現Spark + Hive訪問，得到RDD，再將這個RDD匯入到HBase中操作。

HBase-操作命令詳解

HBase是一個分散式的、面向列的開源資料庫，該技術來源於 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化資料的分散式儲存系統”。就像Bigtable利用了Google檔案系統（File System）所提供的分散式資料儲存一樣，HB

hbase 操作 乾貨 尤其是刪除部分

hbase(main):014:0> describe 'rd_ns:itable' DESCRIPTION                                                                                              

Java在Windows下使用Hbase操作Hadoop示例

（1）解決jar包依賴問題，可以使用兩種方式1、直接建立maven工程，編寫pom檔案，新增依賴的jar包宣告2、直接下載對應的hbase的linux壓縮包，解壓後拷貝資料夾lib下的所有jar包注意：    在執行過程中會報錯：java.lang.NoClassDefFou

HBase(操作API)

HBase操作API package org.xiaowu.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.ha

Hbase操作命令

一 Hbase操作命令 查看錶 ：list 查詢錶行數：count 'staff' 查看錶是否存在：exists 'member' 判斷表是否enable：is_enabled 'member' 判斷表是否disable：is_disabled 'member' 查看錶中所

HBase操作

left base ron util void align tasks 單元格 pom.xml文件 1、hbase API操作 1）首先將core-site.xml、hbase-site.xml、hdfs-site.xml引入maven工程的resources下面 2）配置

Hbase 操作工具類

fault 操作工具類 onf 。。 class utils address 讀取 ted 依賴jar <dependency> <groupId>org.apache.hbase</gro

JAVA程序操作hbase的Maven配置pom.xml文件

pom hba title mave name rep word tle 使用 軟件151 盧煒傑 由於工作需要，用到Java連接Hbase讀寫數據。原來的方式是直接將依賴的jar包全部下載下來，然後工程裏面引用。 現想重構下，改為使用Maven管理，遇到了各種坑，各

Hbase shell基本操作

records 例子 每次 edi operation sim pin binary file 1、啟動cd <hbase_home>/bin$ ./start-hbase.sh 2、啟動hbase shell # find hadoop-hbase dfs

hbase簡單操作

limit ble mit 查詢 truncate can 清空 簡單 bsp hbase shell ---進入hbaselist ---給出所有表count "table_name" ---查看表的記錄數scan "table_name" --- 查詢多條記錄scan