2. 程式人生 > 程式設計 >SpringBoot整合Hbase的實現示例

SpringBoot整合Hbase的實現示例

阿新 • • 發佈：2020-12-21

簡介

當單表資料量過大的時候，關係性資料庫會出現效能瓶頸，這時候我們就可以用NoSql，比如Hbase就是一個不錯的解決方案。接下來是用Spring整合Hbase的實際案例，且在最後會給出整合中可能會出現的問題，以及解決方案。這裡我是用本地Windows的IDEA，與區域網的偽分佈Hbase叢集做的連線，其中Hbase叢集包括的元件有：Jdk1.8、Hadoop2.7.6、ZooKeeper3.4.10、Hbase2.0.1，因為這裡只是開發環境，所以做一個偽分佈的就好，之後部署的時候再按生產環境要求來即可

整合步驟

目錄結構

在這裡插入圖片描述

pom.xml

這裡要匯入Hbase連線所需要包，需要找和你Hbase版本一致的包

<dependency>
 <groupId>org.apache.hbase</groupId>
 <artifactId>hbase-client</artifactId>
 <version>2.0.1</version>
</dependency>

hbase-site.xml

我是用的配置檔案連線方法，這個配置檔案你在hbase的安裝目錄下的conf目錄就可以找到，然後你直接把它複製到專案的resources目錄下就好，當然你也可以用application.properties配置檔案外加註入和程式碼的方式代替這個配置檔案

HBaseConfig.java

這裡因為只需連線Hbase就沒連線Hadoop，如果要連線Hadoop，Windows下還要下載winutils.exe工具，後面會介紹

@Configuration
public class HBaseConfig {
 @Bean
 public HBaseService getHbaseService() {
  //設定臨時的hadoop環境變數，之後程式會去這個目錄下的\bin目錄下找winutils.exe工具，windows連線hadoop時會用到
  //System.setProperty("hadoop.home.dir","D:\\Program Files\\Hadoop");
  //執行此步時，會去resources目錄下找相應的配置檔案，例如hbase-site.xml
  org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
  return new HBaseService(conf);
 }
}

HBaseService.java

這是做連線後的一些操作可以參考之後自己寫一下

public class HBaseService {
 private Logger log = LoggerFactory.getLogger(HBaseService.class);
 /**
  * 管理員可以做表以及資料的增刪改查功能
  */
 private Admin admin = null;
 private Connection connection = null;
 public HBaseService(Configuration conf) {
  try {
   connection = ConnectionFactory.createConnection(conf);
   admin = connection.getAdmin();
  } catch (IOException e) {
   log.error("獲取HBase連線失敗!");
  }
 }
 /**
  * 建立表 create <table>,{NAME => <column family>,VERSIONS => <VERSIONS>}
  */
 public boolean creatTable(String tableName,List<String> columnFamily) {
  try {
   //列族column family
   List<ColumnFamilyDescriptor> cfDesc = new ArrayList<>(columnFamily.size());
   columnFamily.forEach(cf -> {
    cfDesc.add(ColumnFamilyDescriptorBuilder.newBuilder(
      Bytes.toBytes(cf)).build());
   });
   //表 table
   TableDescriptor tableDesc = TableDescriptorBuilder
     .newBuilder(TableName.valueOf(tableName))
     .setColumnFamilies(cfDesc).build();
   if (admin.tableExists(TableName.valueOf(tableName))) {
    log.debug("table Exists!");
   } else {
    admin.createTable(tableDesc);
    log.debug("create table Success!");
   }
  } catch (IOException e) {
   log.error(MessageFormat.format("建立表{0}失敗",tableName),e);
   return false;
  } finally {
   close(admin,null,null);
  }
  return true;
 }
 /**
  * 查詢所有表的表名
  */
 public List<String> getAllTableNames() {
  List<String> result = new ArrayList<>();
  try {
   TableName[] tableNames = admin.listTableNames();
   for (TableName tableName : tableNames) {
    result.add(tableName.getNameAsString());
   }
  } catch (IOException e) {
   log.error("獲取所有表的表名失敗",e);
  } finally {
   close(admin,null);
  }
  return result;
 }
 /**
  * 遍歷查詢指定表中的所有資料
  */
 public Map<String,Map<String,String>> getResultScanner(String tableName) {
  Scan scan = new Scan();
  return this.queryData(tableName,scan);
 }
 /**
  * 通過表名及過濾條件查詢資料
  */
 private Map<String,String>> queryData(String tableName,Scan scan) {
  // <rowKey,對應的行資料>
  Map<String,String>> result = new HashMap<>();
  ResultScanner rs = null;
  //獲取表
  Table table = null;
  try {
   table = getTable(tableName);
   rs = table.getScanner(scan);
   for (Result r : rs) {
    // 每一行資料
    Map<String,String> columnMap = new HashMap<>();
    String rowKey = null;
    // 行鍵，列族和列限定符一起確定一個單元（Cell）
    for (Cell cell : r.listCells()) {
     if (rowKey == null) {
      rowKey = Bytes.toString(cell.getRowArray(),cell.getRowOffset(),cell.getRowLength());
     }
     columnMap.put(
       //列限定符
       Bytes.toString(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength()),//列族
       Bytes.toString(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength()));
    }
    if (rowKey != null) {
     result.put(rowKey,columnMap);
    }
   }
  } catch (IOException e) {
   log.error(MessageFormat.format("遍歷查詢指定表中的所有資料失敗,tableName:{0}",e);
  } finally {
   close(null,rs,table);
  }
  return result;
 }
 /**
  * 為表新增或者更新資料
  */
 public void putData(String tableName,String rowKey,String familyName,String[] columns,String[] values) {
  Table table = null;
  try {
   table = getTable(tableName);
   putData(table,rowKey,tableName,familyName,columns,values);
  } catch (Exception e) {
   log.error(MessageFormat.format("為表新增 or 更新資料失敗,tableName:{0},rowKey:{1},familyName:{2}",familyName),table);
  }
 }
 private void putData(Table table,String tableName,String[] values) {
  try {
   //設定rowkey
   Put put = new Put(Bytes.toBytes(rowKey));
   if (columns != null && values != null && columns.length == values.length) {
    for (int i = 0; i < columns.length; i++) {
     if (columns[i] != null && values[i] != null) {
      put.addColumn(Bytes.toBytes(familyName),Bytes.toBytes(columns[i]),Bytes.toBytes(values[i]));
     } else {
      throw new NullPointerException(MessageFormat.format(
        "列名和列資料都不能為空,column:{0},value:{1}",columns[i],values[i]));
     }
    }
   }
   table.put(put);
   log.debug("putData add or update data Success,rowKey:" + rowKey);
   table.close();
  } catch (Exception e) {
   log.error(MessageFormat.format(
     "為表新增 or 更新資料失敗,e);
  }
 }
 /**
  * 根據表名獲取table
  */
 private Table getTable(String tableName) throws IOException {
  return connection.getTable(TableName.valueOf(tableName));
 }

 /**
  * 關閉流
  */
 private void close(Admin admin,ResultScanner rs,Table table) {
  if (admin != null) {
   try {
    admin.close();
   } catch (IOException e) {
    log.error("關閉Admin失敗",e);
   }
   if (rs != null) {
    rs.close();
   }
   if (table != null) {
    rs.close();
   }
   if (table != null) {
    try {
     table.close();
    } catch (IOException e) {
     log.error("關閉Table失敗",e);
    }
   }
  }
 }
}

HBaseApplicationTests.java

@RunWith(SpringJUnit4ClassRunner.class)
@SpringBootTest
class HBaseApplicationTests {
 @Resource
 private HBaseService hbaseService;
 //測試建立表
 @Test
 public void testCreateTable() {
  hbaseService.creatTable("test_base",Arrays.asList("a","back"));
 }
 //測試加入資料
 @Test
 public void testPutData() {
  hbaseService.putData("test_base","000001","a",new String[]{
    "project_id","varName","coefs","pvalues","tvalues","create_time"},new String[]{"40866","mob_3","0.9416","0.0000","12.2293","null"});
  hbaseService.putData("test_base","000002","idno_prov","0.9317","9.8679","000003","education","0.8984","25.5649","null"});
 }
 //測試遍歷全表
 @Test
 public void testGetResultScanner() {
  Map<String,String>> result2 = hbaseService.getResultScanner("test_base");
  System.out.println("-----遍歷查詢全表內容-----");
  result2.forEach((k,value) -> {
   System.out.println(k + "--->" + value);
  });
 }
}

執行結果

Hbase資料庫查詢結果

在這裡插入圖片描述

IDEA的遍歷結果

在這裡插入圖片描述

報錯與解決方案

報錯一

在這裡插入圖片描述

解決方案：

這是引數配置的有問題，如果你是用hbase-site.xml配置檔案配置的引數，那麼檢查它，用程式碼配置就檢查程式碼引數

報錯二

在這裡插入圖片描述

解決方案：

更改windows本地hosts檔案，C:\Windows\System32\drivers\etc\hosts,新增Hbase服務所在主機地址與主機名稱，這裡你如果儲存不了hosts檔案，把它拉出到桌面改好再拉回即可

報錯三

在這裡插入圖片描述

解決方案：

這是因為在Windows下連線Hadoop需要一個叫Winutils.exe的工具，並且從原始碼可知，它會去讀你Windows下的環境變數，如果你不想在本地設定，可以用方法System.setProperty()設定實時環境變數，另外，如果你只用Hbase，其實這個報錯並不影響你使用Hbase服務

程式碼地址

https://github.com/xiaoxiamo/SpringBoot_HBase

到此這篇關於SpringBoot整合Hbase的實現示例的文章就介紹到這了,更多相關SpringBoot整合Hbase內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們！

相關推薦

SpringBoot整合Hbase的實現示例

簡介 當單表資料量過大的時候，關係性資料庫會出現效能瓶頸，這時候我們就可以用NoSql，比如Hbase就是一個不錯的解決方案。接下來是用Spring整合Hbase的實際案例，且在最後會給出整合中可能會出現的問題，以及解決方

SpringBoot整合RabbitMQ實現使用者註冊的示例程式碼

上一篇已經介紹了什麼是rabbitmq以及和springboot整合方法，也介紹了springboot整合郵件的方式，不瞭解的可以先看以前寫的文章。

springboot整合ES實現磁碟檔案全文檢索的示例程式碼

最近有個朋友諮詢如何實現對海量磁碟資料進行目錄、檔名及檔案正文進行搜尋，要求實現簡單高效、維護方便、成本低廉。我想了想利用ES來實現文件的索引及搜尋是適當的選擇，於是就著手寫了一些程式碼來實現，下面就將

springboot整合CAS實現單點登入的示例程式碼

最近新參與的專案用到了cas單點登入，我還不會，這怎麼能容忍！空了學習並搭建了一個spring-boot 整合CAS 的demo。實現了單點登入與登出。

SpringBoot整合screw實現資料庫文件自動生成的示例程式碼

有時候資料庫文件需要整理，可是隻能手動的複製貼上，心中一萬隻草泥馬奔騰而過。。。

SpringBoot整合Redisson實現分散式鎖的方法示例

上篇 《SpringBoot 整合 redis 分散式鎖優化》對死鎖的問題進行了優化，今天介紹的是 redis 官方推薦使用的 Redisson ，Redisson 架設在 redis 基礎上的 Java 駐記憶體資料網格（In-Memory Data Grid），基於NIO的 N

SpringBoot整合WebSocket實現後臺向前端推送資訊的示例

前言 在一次專案開發中，使用到了Netty網路應用框架，以及MQTT進行訊息資料的收發，這其中需要後臺來將獲取到的訊息主動推送給前端，於是就使用到了MQTT，特此記錄一下。

Springboot整合Netty實現RPC伺服器的示例程式碼

一、什麼是RPC? RPC（Remote Procedure Call）遠端過程呼叫，是一種程序間的通訊方式，其可以做到像呼叫本地方法那樣呼叫位於遠端的計算機的服務。其實現的原理過程如下：

SpringBoot整合ELK實現日誌收集

為什麼要用ELK收集日誌 目前大多數專案都是採用微服務架構，在專案的初期，為了按計劃上線就沒有搭建日誌收集分析平臺，日誌都是儲存在伺服器本地，看日誌時一個個的找。隨著專案的服務越來越多，各個服務都是叢集部

SpringBoot：4.SpringBoot整合Mybatis實現資料庫訪問

在公司專案開發中，使用Mybatis居多。在 SpringBoot：3.SpringBoot使用Spring-data-jpa實現資料庫訪問 中，這種jpa風格的把sql語句和java程式碼放到一起，總感覺分離的不夠徹底。基於個人習慣，還是比較喜歡把程式碼

SpringBoot整合Shiro 實現動態載入許可權

一、前言 本文小編將基於 SpringBoot 整合 Shiro實現動態uri許可權，由前端vue在頁面配置uri，Java後端動態重新整理許可權，不用重啟專案，以及在頁面分配給使用者 角色 、 按鈕 、uri 許可權後，後端動態分配許可權

SpringBoot 整合 Redisson 實現分散式鎖

上篇 《SpringBoot 整合 redis 分散式鎖優化》對死鎖的問題進行了優化，今天介紹的是 redis 官方推薦使用的 Redisson ，Redisson 架設在 redis 基礎上的 Java 駐記憶體資料網格（In-Memory Data Grid），基於NIO的 N

SpringBoot 整合 WebSocket 實現前後端訊息互傳

什麼是WebSocket? WebSocket 協議是基於 TCP 的一種新的網路協議。它實現了瀏覽器與伺服器全雙工 (full-duplex) 通訊—允許伺服器主動傳送資訊給客戶端。

基於springboot整合hbase過程解析

這篇文章主要介紹了基於springboot整合hbase過程解析,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

springboot整合redis實現簡單秒殺系統

本文例項為大家分享了springboot整合redis實現簡單秒殺系統的具體程式碼，供大家參考，具體內容如下

springboot整合開發實現商場秒殺功能

springboot整合開發實現商場秒殺 加入主要依賴 <dependency> <groupId>org.springframework.boot</groupId>

springboot整合vue實現上傳下載檔案

springboot整合vue實現上傳下載檔案，供大家參考，具體內容如下 環境 springboot 1.5.x

SpringBoot整合WebSocket實現前後端訊息互傳的方法

什麼是WebSocket? WebSocket 協議是基於 TCP 的一種新的網路協議。它實現了瀏覽器與伺服器全雙工 (full-duplex) 通訊—允許伺服器主動傳送資訊給客戶端。

基於SpringBoot整合oauth2實現token認證

這篇文章主要介紹了基於SpringBoot整合oauth2實現token 認證,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

SpringBoot整合JWT實現token驗證的流程

JWT官網： https://jwt.io/ JWT(Java版)的github地址:https://github.com/jwtk/jjwt 什麼是JWT Json web token (JWT),是為了在網路應用環境間傳遞宣告而執行的一種基於JSON的開放標準（(RFC 7519).定義了一種簡潔的，