1. 程式人生 > 其它 >SpringBoot - 使用Phoenix操作HBase教程1(使用標準JDBC)

SpringBoot - 使用Phoenix操作HBase教程1(使用標準JDBC)

  我在之前的文章中介紹瞭如何在Java專案中通過hbase-client來操作HBase資料庫。而藉助Apache Phoenix,可以讓我們能夠使用標準SQL和JDBC介面來操作HBase。下面通過樣例進行演示。

一、使用標準的 JDBC 來操作 HBase

1,準備工作

(1)伺服器除了要安裝HBase外,還需要安裝Phoenix,具體參考我之前寫的文章:

(2)編輯專案的pom.xml檔案,新增Phoenix相關依賴(高亮部分):

<dependencies>
    <dependency
> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <!-- 去掉springboot預設日誌配置 --> <exclusions> <exclusion> <groupId>org.springframework.boot</groupId
> <artifactId>spring-boot-starter-logging</artifactId> </exclusion> </exclusions> </dependency> <!-- 引入log4j2依賴 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId
>spring-boot-starter-log4j2</artifactId> </dependency> <!-- phoenix相關依賴配置 --> <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>5.0.0-HBase-2.0</version> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> </exclusion> <exclusion> <groupId>joda-time</groupId> <artifactId>joda-time</artifactId> </exclusion> <exclusion> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.9.2</version> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> </exclusion> <exclusion> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>joda-time</groupId> <artifactId>joda-time</artifactId> <version>2.3</version> </dependency> </dependencies>

2,編寫程式碼

(1)下面通過標準的JDBC來對錶以及表資料進行增刪改查操作: 1,表名為什麼加引號?
  • 在phoenix中,預設情況下,庫名,表名,欄位名等會自動轉換為大寫,若要小寫,使用雙引號,如"student"。
2,是否需要Phoenix JDBC 連線池?
  • 答案是不需要快取Phoenix JDBC連線池。由於HBase的特殊性,Phoenix連線物件有別於其他常規的JDBC連線。Phoenix連線被設計為thin物件,建立它的代價很小。如果使用連線池來重用HBase連線,前一個使用者的非正常退出可能會導致連線處於錯誤狀態。因此最好每次建立一個新的連線。
  • 如果實在需要使用連線池,可以對Phoenix連線做簡單的代理,每次需要從池中獲取連線的時候初始化一個就好,而將連線歸還到連線池之後就把它關閉掉。
@RestController
public class HelloController {
 
    //phoenix驅動
    private String phoenixDriver = "org.apache.phoenix.jdbc.PhoenixDriver";
    //zookeeper地址
    private String phoenixURL = "jdbc:phoenix:192.168.60.133:2181";
 
    @GetMapping("/test")
    public void test() throws Exception {
        // 建立表
        System.out.println("\n--- 開始建立 student 表 ---");
        createTable();
 
        // 獲取Phoenix中的表(系統表除外)
        System.out.println("\n--- 獲取Phoenix中的表(系統表除外) ---");
        List<String> tables = getTables();
        System.out.println(tables);
 
        // 插入資料
        System.out.println("\n--- 開始插入資料 ---");
        insertData();
 
        // 刪除資料
        System.out.println("\n--- 開始刪除資料 ---");
        deleteData();
 
        // 查詢資料
        System.out.println("\n--- 開始查詢資料 ---");
        List<Map<String, String>> list = getData("\"student\"");
        System.out.println(list);
 
        //刪除表
        System.out.println("\n--- 開始刪除 student 表 ---");
        dropTable();
    }
 
    // 獲取連線
    public Connection getConnection() throws Exception {
        Class.forName(phoenixDriver);
        return DriverManager.getConnection(phoenixURL);
    }
 
    // 建立表
    public void createTable() throws Exception {
            //獲取連線
            Connection connection = getConnection();
            // 建立Statement物件
            String sql = "CREATE TABLE IF NOT EXISTS \"student\"(" +
                    "id VARCHAR primary key," +
                    "name VARCHAR," +
                    "age VARCHAR)";
            PreparedStatement statement = connection.prepareStatement(sql);
            // 執行sql操作
            statement.execute();
            // 關閉
            statement.close();
            connection.close();
    }
 
    // 獲取Phoenix中的表(系統表除外)
    public List<String> getTables() throws Exception {
        //獲取連線
        Connection connection = getConnection();
        List<String> tables = new ArrayList<>();
        DatabaseMetaData metaData = connection.getMetaData();
        String[] types = {"TABLE"}; //"SYSTEM TABLE"
        ResultSet resultSet = metaData.getTables(null, null, null, types);
        while (resultSet.next()) {
            tables.add(resultSet.getString("TABLE_NAME"));
        }
        return tables;
    }
 
    // 刪除表
    public void dropTable() throws Exception {
        //獲取連線
        Connection connection = getConnection();
        // 建立Statement物件
        String sql = "DROP TABLE \"student\"";
        PreparedStatement statement = connection.prepareStatement(sql);
        // 執行sql操作
        statement.execute();
        // 關閉
        statement.close();
        connection.close();
    }
 
    // 插入資料
    public void insertData() throws Exception {
        //獲取連線
        Connection connection = getConnection();
 
        //獲取Statement物件,並進行資料插入
        Statement statement = connection.createStatement();
        statement.executeUpdate("upsert into \"student\" values('1001','大劉','20')");
        statement.executeUpdate("upsert into \"student\" values('1002','小星','22')");
        connection.commit();
        statement.close();
 
        //獲取PreparedStatement物件,並進行資料插入
        PreparedStatement preparedStatement = connection.prepareStatement(
                "upsert into \"student\" values(?,?,?)");
        //給引數賦值
        preparedStatement.setString(1,"1003");
        preparedStatement.setString(2,"hangge");
        preparedStatement.setString(3,"1000");
        //執行插入
        preparedStatement.execute();
        connection.commit();
        preparedStatement.close();
 
        connection.close();
    }
 
    // 刪除資料
    public void deleteData() throws Exception {
        //獲取連線
        Connection connection = getConnection();
 
        //獲取Statement物件,並進行資料刪除
        Statement statement = connection.createStatement();
        statement.execute("delete from \"student\" where id = '1002'");
        connection.commit();
        statement.close();
        connection.close();
    }
 
    // 查詢資料(獲取表中的所有資料)
    public List<Map<String, String>> getData(String tableName) throws Exception {
        //獲取連線
        Connection connection = getConnection();
        String sql = "SELECT * FROM " + tableName;
        PreparedStatement preparedStatement = connection.prepareStatement(sql);
        ResultSet resultSet = preparedStatement.executeQuery();
        ResultSetMetaData resultSetMetaData = resultSet.getMetaData();
        List<Map<String, String>> resultList = new ArrayList<>();
        while (resultSet.next()) {
            Map<String, String> result = new HashMap<>();
            for (int i = 1, len = resultSetMetaData.getColumnCount(); i <= len; i++) {
                result.put(resultSetMetaData.getColumnName(i), resultSet.getString(i));
            }
            resultList.add(result);
        }
        return resultList;
    }
}

(2)啟動專案,使用瀏覽器訪問/test介面可以看到控制檯輸出如下,說明資料庫操作成功:

如果Phoenix開啟了SCHEMA,建議將其關閉,否則連線時會報如下錯誤:

  • ava.sql.SQLException: ERROR 726 (43M10): Inconsistent namespace mapping properties. Cannot initiate connection as SYSTEM:CATALOG is found but client does not have phoenix.schema.isNamespaceMappingEnabled enabled

具體關閉方法參考我之前寫的另一篇文章:

早年同窗始相知,三載瞬逝情卻萌。年少不知愁滋味,猶讀紅豆生南國。別離方知相思苦,心田紅豆根以生。