2. 程式人生 > >使用Phoenix通過sql語句更新操作hbase資料

使用Phoenix通過sql語句更新操作hbase資料

阿新 • • 發佈：2019-02-09 
hbase 提供很方便的shell指令碼，可以對資料表進行 CURD 操作，但是畢竟是有一定的學習成本的，基本上對於開發來講，sql 語句都是看家本領，那麼，有沒有一種方法可以把 sql 語句轉換成 hbase的原生API呢？ 這樣就可以通過普通平常的 sql 來對hbase 進行資料的管理，使用成本大大降低。Apache Phoenix 元件就完成了這種需求，官方註解為 “Phoenix - we put the SQL back in NoSql”，通過官方說明，Phoenix 的效能很高，相對於 hbase 原生的scan 並不會差多少，而對於類似的元件 hive、Impala等，效能有著顯著的提升，詳細請閱讀 https://phoenix.apache.org/performance.html。

一、安裝使用
Phoenix 安裝很簡單，下載對應hbase版本的Phoenix，下載地址，以phoenix-4.4.0-HBase-0.98-bin.tar.gz為例，解壓檔案，將phoenix-4.4.0-server.jar 拷貝到hbase安裝目錄的lib下，注意：每臺regionserver均需要拷貝，重啟hbase server即可，官方如下：

  • download and expand the latest phoenix-[version]-bin.tar.
  • Add the phoenix-[version]-server.jar to the classpath of all HBase region server and master and remove any previous version. An easy way to do this is to copy it into the HBase lib directory (use phoenix-core-[version].jar for Phoenix 3.x)
  • restart the region servers
  • Add the phoenix-[version]-client.jar to the classpath of any Phoenix client.
  • download and setup SQuirrel as your SQL client so you can issue
    -adhoc SQL against your HBase cluster

通過案例，create 表，插入語句，更新語句，刪除語句案例，詳細可參考：https://phoenix.apache.org/faq.html
Phoenix 連線hbase的命令如下，sqlline.py [zookeeper] ：

[hadoop@slave2 lib]$ ./sqlline.py 10.35.66.72
Setting property: [isolation, TRANSACTION_READ_COMMITTED]
issuing: !connect jdbc:phoenix:10.35.66.72 none none org.apache.phoenix.jdbc.PhoenixDriver
Connecting to jdbc:phoenix:10.35.66.72
15/06/24 13:06:29 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Connected to: Phoenix (version 4.2)
Driver: PhoenixEmbeddedDriver (version 4.2)
Autocommit status: true
Transaction isolation: TRANSACTION_READ_COMMITTED
Building list of tables and columns for tab-completion (set fastconnect to true to skip)...
193/193 (100%) Done
Done
sqlline version 1.1.2
0: jdbc:phoenix:10.35.66.72>!tables
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
|                TABLE_CAT                 |               TABLE_SCHEM                |                TABLE_NAME                |                TA |
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
| null                                     | WL                                       | BIG_LOG_DEVUTRACEID_INDEX                | INDEX             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2_OWNERPAGE_INDEX | INDEX             |
| null                                     | SYSTEM                                   | CATALOG                                  | SYSTEM TABLE      |
| null                                     | SYSTEM                                   | SEQUENCE                                 | SYSTEM TABLE      |
| null                                     | SYSTEM                                   | STATS                                    | SYSTEM TABLE      |
| null                                     | DMO                                      | SOWNTOWN_STATICS                         | TABLE             |
| null                                     | OL                                       | BIGLOG                                   | TABLE             |
| null                                     | WL                                       | BIG_LOG                                  | TABLE             |
| null                                     | WL                                       | ERROR_LOG                                | TABLE             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE                    | TABLE             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2                 | TABLE             |
+------------------------------------------+------------------------------------------+------------------------------------------+------------------

從上面能夠看到，已經連線到了hbase叢集上面，Phoenix version 4.2 ，sqlline version 4.2 ，輸入Phoenix支援的命令！tables可以檢視當前叢集中存在的資料表，能夠看到有些是 SYSTEM TABLE，其它的都是自己建立的；

下面通過指令碼來模擬下使用Phoenix建立資料表、修改表、新增資料、修改資料、刪除資料、刪除表等操作：

1、新建一張Person表，含有IDCardNum，Name，Age 三個欄位 ，test 為table_schem ，標準sql如下：

create table IF NOT EXISTS test.Person (IDCardNum INTEGER not null primary key, Name varchar(20),Age INTEGER);

在 Phoenix 中使用如下：

0: jdbc:phoenix:10.35.66.72> create table IF NOT EXISTS test.Person (IDCardNum INTEGER not null primary key, Name varchar(20),Age INTEGER);
No rows affected (0.344 seconds)
0: jdbc:phoenix:10.35.66.72> !tables
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
|                TABLE_CAT                 |               TABLE_SCHEM                |                TABLE_NAME                |                TA |
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
| null                                     | WL                                       | BIG_LOG_DEVUTRACEID_INDEX                | INDEX             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2_OWNERPAGE_INDEX | INDEX             |
| null                                     | SYSTEM                                   | CATALOG                                  | SYSTEM TABLE      |
| null                                     | SYSTEM                                   | SEQUENCE                                 | SYSTEM TABLE      |
| null                                     | SYSTEM                                   | STATS                                    | SYSTEM TABLE      |
| null                                     | DMO                                      | SOWNTOWN_STATICS                         | TABLE             |
| null                                     | OL                                       | BIGLOG                                   | TABLE             |
| null                                     | TEST                                     | PERSON                                  | TABLE             |
| null                                     | WL                                       | BIG_LOG                                  | TABLE             |
| null                                     | WL                                       | ERROR_LOG                                | TABLE             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE                    | TABLE             |
| null                                     | WL                                       | MSGCENTER_PUSHMESSAGE_V2                 | TABLE             |
+------------------------------------------+------------------------------------------+------------------------------------------+-------------------+
0: jdbc:phoenix:10.35.66.72> select * from TEST.PERSON;
+------------------------------------------+----------------------+------------------------------------------+
|                IDCARDNUM                 |         NAME         |                   AGE                    |
+------------------------------------------+----------------------+------------------------------------------+
+------------------------------------------+----------------------+------------------------------------------+

可以看到，hbase中已經存在資料表 Person了，包含了三列

2、對錶進行插入操作，sql如下：

insert into Person (IDCardNum,Name,Age) values (100,'小明',12);
insert into Person (IDCardNum,Name,Age) values (101,'小紅',15);
insert into Person (IDCardNum,Name,Age) values (103,'小王',22);

在 Phoenix 中插入的語句為 upsert ，具體如下：

0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age) values (100,'小明',12);
1 row affected (0.043 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age) values (101,'小紅',15);
1 row affected (0.018 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age) values (103,'小王',22);
1 row affected (0.009 seconds)
0: jdbc:phoenix:10.35.66.72> select * from test.Person;
+------------------------------------------+----------------------+------------------------------------------+
|                IDCARDNUM                 |         NAME         |                   AGE                    |
+------------------------------------------+----------------------+------------------------------------------+
| 100                                      | 小明                   | 12                                       |
| 101                                      | 小紅                   | 15                                       |
| 103                                      | 小王                   | 22                                       |
+------------------------------------------+----------------------+------------------------------------------+
3 rows selected (0.115 seconds)

從上面可以看到，三條資料已經進入hbase裡面了；好了，現在要對錶新增一列 sex 性別操作，怎麼辦？

3、alter 修改表資料，sql如下：

ALTER TABLE test.Persion ADD sex varchar(10);

Phoenix 中操作如下：

0: jdbc:phoenix:10.35.66.72> ALTER TABLE test.Person ADD sex varchar(10);
No rows affected (0.191 seconds)
: jdbc:phoenix:10.35.66.72> select * from test.person;
+------------------------------------------+----------------------+------------------------------------------+------------+
|                IDCARDNUM                 |         NAME         |                   AGE                    |    SEX     |
+------------------------------------------+----------------------+------------------------------------------+------------+
| 100                                      | 小明                   | 12                                       | null       |
| 101                                      | 小紅                   | 15                                       | null       |
| 103                                      | 小王                   | 22                                       | null       |
+------------------------------------------+----------------------+------------------------------------------+------------+
3 rows selected (0.113 seconds)

4、 更新表資料 ，標準的sql 如下：

update test.Person set sex='男' where IDCardNum=100;
update test.Person set sex='女' where IDCardNum=101;
update test.Person set sex='男' where IDCardNum=103;

Phoenix中不存在update的語法關鍵字，而是upsert ，功能上替代了Insert+update，官方說明為：

UPSERT VALUES
Inserts if not present and updates otherwise the value in the table. The list of columns is optional >and if not present, the values will map to the column in the order they are declared in the >schema. The values must evaluate to constants.

根據介紹，只需要在upsert語句中制定存在的idcardnum即可實現更新，在 Phoenix 客戶端中操作如下

0: jdbc:phoenix:10.35.66.72> upsert into test.person (idcardnum,sex) values (100,'男');
1 row affected (0.083 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.person (idcardnum,sex) values (101,'女');
1 row affected (0.012 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.person (idcardnum,sex) values (103,'男');
1 row affected (0.008 seconds)
0: jdbc:phoenix:10.35.66.72> select * from test.person;
+------------------------------------------+----------------------+------------------------------------------+------------+
|                IDCARDNUM                 |         NAME         |                   AGE                    |    SEX     |
+------------------------------------------+----------------------+------------------------------------------+------------+
| 100                                      | 小明                   | 12                                       | 男          |
| 101                                      | 小紅                   | 15                                       | 女          |
| 103                                      | 小王                   | 22                                       | 男          |
+------------------------------------------+----------------------+------------------------------------------+------------+
3 rows selected (0.087 seconds)

5、複雜查詢，通過Phoenix可以支援 where、group by、case when 等複雜的查詢條件，案例如下：

**現增加幾條資料**
0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age,sex) values (104,'小張',23,'男');
1 row affected (0.012 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age,sex) values (105,'小李',28,'男');
1 row affected (0.015 seconds)
0: jdbc:phoenix:10.35.66.72> upsert into test.Person (IDCardNum,Name,Age,sex) values (106,'小李',33,'男');
1 row affected (0.011 seconds)
0: jdbc:phoenix:10.35.66.72> select * from test.person;
+------------------------------------------+----------------------+------------------------------------------+------------+
|                IDCARDNUM                 |         NAME         |                   AGE                    |    SEX     |
+------------------------------------------+----------------------+------------------------------------------+------------+
| 100                                      | 小明                   | 12                                       | 男          |
| 101                                      | 小紅                   | 15                                       | 女          |
| 103                                      | 小王                   | 22                                       | 男          |
| 104                                      | 小張                   | 23                                       | 男          |
| 105                                      | 小李                   | 28                                       | 男          |
| 106                                      | 小李                   | 33                                       | 男          |
+------------------------------------------+----------------------+------------------------------------------+------------+
6 rows selected (0.09 seconds)

相關推薦

使用Phoenix通過sql語句更新操作hbase資料

hbase 提供很方便的shell指令碼，可以對資料表進行 CURD 操作，但是畢竟是有一定的學習成本的，基本上對於開發來講，sql 語句都是看家本領，那麼，有沒有一種方法可以把 sql 語句轉換成 hbase的原生API呢？ 這樣就可以通過普通平常的 sql

【Hadoop】HBase上安裝使用Phoenix來用sql語句更新操作資料，安裝的過程各種坑和經驗

畢竟可以使用類似sql的標準語句來操作HBase想來還是滿爽的事情。不過只能是shell。 首先，下載安裝phoenix。 我們先到apache來安裝 在apache找到目前對應的phoenix。由於我們的HBase版本是1.2.4，所以選擇了4.9.

sql語句中對json資料的操作

sql語句中對json資料的操作          1.獲取指定json字串中指定的屬性值，以下三種寫法等價：     //attributes_json欄位的值為一個json字串，下面的

navicat 匯出嚮導 ， 通過Excel生成批量SQL語句，處理大量資料

     如果要改一個數據量很大的表格的某些欄位，可以先將這個表格的資料匯出來，導成excel 形式： 工具：navicat formysql     資料庫：mysql 1. 2. 3.

通過Excel生成批量SQL語句，處理大量資料的好辦法

我們經常會遇到這樣的要求：使用者給發過來一些資料，要我們直接給存放到資料庫裡面，有的是Insert，有的是Update等等，少量的資料我們可以採取最原始的辦法，也就是在SQL裡面用Insert into來實現，但是如果有幾十條几百條甚至上千條資料的時候繼續寫單獨的SQL語句

navicat 匯出嚮導 ， 通過Excel生成批量SQL語句，處理大量資料

     如果要改一個數據量很大的表格的某些欄位，可以先將這個表格的資料匯出來，導成excel 形式： 工具：navicat formysql     資料庫：mysql 1. 2. 3. 4. 5. 6. 7 . 8. 9. 然後就可以在e

通過Excel生成批量SQL語句，處理大量資料

我們經常會遇到這樣的要求：使用者給發過來一些資料，要我們直接給存放到資料庫裡面，有的是Insert，有的是Update等等，少量的資料我們可以採取最原始的辦法，也就是在SQL裡面用Insert into來實現，但是如果有幾十條几百條甚至上千條資料的時候繼續寫單獨的SQL語句的

在SqlServer中通過SQL語句實現樹狀查詢

clas all bold join where procedure ner log class 1 CREATE PROCEDURE [dbo].[GetTree] 2 @Id int 3 AS 4 BEGIN 5 with cte as

mybatis中sql語句查詢操作

java 拼接 tca 指定 lose pan 添加 fill test 動態sql where if where可以自動處理第一個and。 　　<!-- 根據id查詢用戶信息 --> <!-- public User findUse

MySQL與SQL語句的操作

root lac sql數據庫 href htm prim pre tutorial where MySQL與SQL語句的操作 Mysql比較輕量化，企業用的是Oracle,基本的是熟悉對數據庫，數據表，字段，記錄的更新與修改 1. mysql基本信息 特殊數據庫：i

SQL 語句常用操作整理

新增新使用者建議 GRANT 命令 一、grant 普通資料使用者，查詢、插入、更新、刪除 資料庫中所有表資料的權利。 grant select on testdb.* to [email protected]'%' grant insert on testdb.* to [ema

Excel生成批量SQL語句，處理大量資料的好辦法

當有大量重複體力工作寫入或修改資料到資料庫中時，可以 第一，將Excel資料整理好了之後，通過SQL的匯入功能直接導進資料庫，但是得保證資料庫欄位和Excel的欄位一致。 第二，通過Excel來生成對應的SQL語句，直接將SQL語句複製到分析器裡面執行即可。 如：使用excel的

使用Mysql執行SQL語句基礎操作

SQL:  又叫結構化語言，是一種用來操作RDBMS的資料庫語言，在關係型資料庫中都支援使用SQL語句，如oracle、mysql等等。 　　注意： 在關係型資料庫中sql語句是通用的，而在非關係型資料庫中是不支援sql語句的，每種非關係型資料庫都有自己的查詢語言，是不通用的。 　　注意： sq

mysql sql語句update操作

1.修改  示例 update t_dinner_order set del_flag = 1 ,update_by = #{signUp.updateBy.id},update_date =#{signUp.updateDate}      

用一句sql語句更新兩個表並可更新對應的欄位的值

ACCESS 例子： insert into products (ProNumber,CASNumber,Cnname,Price,Enname,Baozhuang,Pinpai) select ProNumber,CASNumber,Cnname,Price,Enname,Baozhuan

在Orcl中通過SQL語句修改建立表

 1、建立表時定義唯一性約束 1 CREATE TABLE table_name 2 ( 3 column1 datatype null/not null, 4 column2 datatype null/not null, 5 ... 6 CONSTRAIN

oracle中一些sql語句 編寫操作

edate 服務 orm sql ascii 開始 pan format ssi -- 修改系統當前日期格式ALTER SESSION SET nls_date_format = "YYYY-MM-DD HH:MI:SS";-------------------------

Python程式碼執行sql語句，可以讓資料分析更加簡潔

  由於許多潛在的pandas使用者對SQL有一定的了 解 ，因此本頁旨在提供一些使用pandas來執行各種SQL操作的示例。 小編推薦大家可以加我的扣扣群 735934841 裡面有海量視訊教程和學習資料免費領取， 不失為是一個學習的好地方，歡迎你的到來。 一起交流學習！

PowerDesign通過SQL語句生成PDM檔案

前提： 我用的是PowerDesigner16 步驟如下： 第一步：File->Reverse Enginner->Databases 第二步:選擇適合你的SQL型別，-》點選確定 第三步：點選實用“Using Script files”選項,然後點選Add

Spring cloud Jpa 的三種複合主鍵查詢（實體類操作，sql語句裡操作）

    今天剛好有個sql查詢，查出來的時候發現數據重複（可能說是覆蓋了更為準確些）了，條數是對的，再去debug一遍，發現是jpa自定義的實體類那裡出了問題，主鍵id只有一個，因為查出來的資料是複合主鍵的，所以只找到了實體類中定義的一個ID，可能就導致了資料覆蓋，但是條數是正確