SpringBoot - 使用Phoenix操作HBase教程1(使用標準JDBC)
阿新 • • 發佈:2021-12-08
我在之前的文章中介紹瞭如何在Java專案中通過hbase-client來操作HBase資料庫。而藉助Apache Phoenix,可以讓我們能夠使用標準SQL和JDBC介面來操作HBase。下面通過樣例進行演示。
一、使用標準的 JDBC 來操作 HBase
1,準備工作
(1)伺服器除了要安裝HBase外,還需要安裝Phoenix,具體參考我之前寫的文章:(2)編輯專案的pom.xml檔案,新增Phoenix相關依賴(高亮部分):
<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <!-- 去掉springboot預設日誌配置 --> <exclusions> <exclusion> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-logging</artifactId> </exclusion> </exclusions> </dependency> <!-- 引入log4j2依賴 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-log4j2</artifactId> </dependency> <!-- phoenix相關依賴配置 --> <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>5.0.0-HBase-2.0</version> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> </exclusion> <exclusion> <groupId>joda-time</groupId> <artifactId>joda-time</artifactId> </exclusion> <exclusion> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.9.2</version> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> </exclusion> <exclusion> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>joda-time</groupId> <artifactId>joda-time</artifactId> <version>2.3</version> </dependency> </dependencies>
2,編寫程式碼
(1)下面通過標準的JDBC來對錶以及表資料進行增刪改查操作: 1,表名為什麼加引號?- 在phoenix中,預設情況下,庫名,表名,欄位名等會自動轉換為大寫,若要小寫,使用雙引號,如"student"。
- 答案是不需要快取Phoenix JDBC連線池。由於HBase的特殊性,Phoenix連線物件有別於其他常規的JDBC連線。Phoenix連線被設計為thin物件,建立它的代價很小。如果使用連線池來重用HBase連線,前一個使用者的非正常退出可能會導致連線處於錯誤狀態。因此最好每次建立一個新的連線。
- 如果實在需要使用連線池,可以對Phoenix連線做簡單的代理,每次需要從池中獲取連線的時候初始化一個就好,而將連線歸還到連線池之後就把它關閉掉。
@RestController public class HelloController { //phoenix驅動 private String phoenixDriver = "org.apache.phoenix.jdbc.PhoenixDriver"; //zookeeper地址 private String phoenixURL = "jdbc:phoenix:192.168.60.133:2181"; @GetMapping("/test") public void test() throws Exception { // 建立表 System.out.println("\n--- 開始建立 student 表 ---"); createTable(); // 獲取Phoenix中的表(系統表除外) System.out.println("\n--- 獲取Phoenix中的表(系統表除外) ---"); List<String> tables = getTables(); System.out.println(tables); // 插入資料 System.out.println("\n--- 開始插入資料 ---"); insertData(); // 刪除資料 System.out.println("\n--- 開始刪除資料 ---"); deleteData(); // 查詢資料 System.out.println("\n--- 開始查詢資料 ---"); List<Map<String, String>> list = getData("\"student\""); System.out.println(list); //刪除表 System.out.println("\n--- 開始刪除 student 表 ---"); dropTable(); } // 獲取連線 public Connection getConnection() throws Exception { Class.forName(phoenixDriver); return DriverManager.getConnection(phoenixURL); } // 建立表 public void createTable() throws Exception { //獲取連線 Connection connection = getConnection(); // 建立Statement物件 String sql = "CREATE TABLE IF NOT EXISTS \"student\"(" + "id VARCHAR primary key," + "name VARCHAR," + "age VARCHAR)"; PreparedStatement statement = connection.prepareStatement(sql); // 執行sql操作 statement.execute(); // 關閉 statement.close(); connection.close(); } // 獲取Phoenix中的表(系統表除外) public List<String> getTables() throws Exception { //獲取連線 Connection connection = getConnection(); List<String> tables = new ArrayList<>(); DatabaseMetaData metaData = connection.getMetaData(); String[] types = {"TABLE"}; //"SYSTEM TABLE" ResultSet resultSet = metaData.getTables(null, null, null, types); while (resultSet.next()) { tables.add(resultSet.getString("TABLE_NAME")); } return tables; } // 刪除表 public void dropTable() throws Exception { //獲取連線 Connection connection = getConnection(); // 建立Statement物件 String sql = "DROP TABLE \"student\""; PreparedStatement statement = connection.prepareStatement(sql); // 執行sql操作 statement.execute(); // 關閉 statement.close(); connection.close(); } // 插入資料 public void insertData() throws Exception { //獲取連線 Connection connection = getConnection(); //獲取Statement物件,並進行資料插入 Statement statement = connection.createStatement(); statement.executeUpdate("upsert into \"student\" values('1001','大劉','20')"); statement.executeUpdate("upsert into \"student\" values('1002','小星','22')"); connection.commit(); statement.close(); //獲取PreparedStatement物件,並進行資料插入 PreparedStatement preparedStatement = connection.prepareStatement( "upsert into \"student\" values(?,?,?)"); //給引數賦值 preparedStatement.setString(1,"1003"); preparedStatement.setString(2,"hangge"); preparedStatement.setString(3,"1000"); //執行插入 preparedStatement.execute(); connection.commit(); preparedStatement.close(); connection.close(); } // 刪除資料 public void deleteData() throws Exception { //獲取連線 Connection connection = getConnection(); //獲取Statement物件,並進行資料刪除 Statement statement = connection.createStatement(); statement.execute("delete from \"student\" where id = '1002'"); connection.commit(); statement.close(); connection.close(); } // 查詢資料(獲取表中的所有資料) public List<Map<String, String>> getData(String tableName) throws Exception { //獲取連線 Connection connection = getConnection(); String sql = "SELECT * FROM " + tableName; PreparedStatement preparedStatement = connection.prepareStatement(sql); ResultSet resultSet = preparedStatement.executeQuery(); ResultSetMetaData resultSetMetaData = resultSet.getMetaData(); List<Map<String, String>> resultList = new ArrayList<>(); while (resultSet.next()) { Map<String, String> result = new HashMap<>(); for (int i = 1, len = resultSetMetaData.getColumnCount(); i <= len; i++) { result.put(resultSetMetaData.getColumnName(i), resultSet.getString(i)); } resultList.add(result); } return resultList; } }
(2)啟動專案,使用瀏覽器訪問/test介面可以看到控制檯輸出如下,說明資料庫操作成功:
如果Phoenix開啟了SCHEMA,建議將其關閉,否則連線時會報如下錯誤:
- ava.sql.SQLException: ERROR 726 (43M10): Inconsistent namespace mapping properties. Cannot initiate connection as SYSTEM:CATALOG is found but client does not have phoenix.schema.isNamespaceMappingEnabled enabled
具體關閉方法參考我之前寫的另一篇文章:
早年同窗始相知,三載瞬逝情卻萌。年少不知愁滋味,猶讀紅豆生南國。別離方知相思苦,心田紅豆根以生。