關鍵字：Hive儲存過程、PL/HQL、HQL/SQL、MySQL

通過PL/HQL可以在一個指令碼中同時訪問多個數據庫系統。在實際業務場景中，經常會有需要將Hive和RDBMS中的資料結合分析，比如：

• 往RDBMS中寫入Hive分析的審計資訊；
• 從RDBMS中獲取一些維表的資料，和Hive表進行關聯；
• 從RDBMS中讀取一些配置資料；
• 往RDBMS中儲存Hive的分析結果；

在PL/HQL中提供了這個功能，它允許在一個PL/HQL指令碼中訪問多個數據庫系統。下面以一個簡單需求為例：

在PL/HQL指令碼中執行Hive分析任務，並將本次執行的審計資訊記錄到MySQL，其中，審計資訊包括Hive分析任務的開始時間，結束時間和最終完成狀態。

MySQL中建立審計資訊表

1. CREATE TABLE hive_task_log (
2. seq INT PRIMARY KEY auto_increment,
3. start_time VARCHAR(20),
4. end_time VARCHAR(20),
5. return_code INT
6. );

配置hplsql-site.xml

在hplsql-site.xml中的主要配置如下：

<property>

<name>hplsql.conn.default</name>

<value>hive2conn</value>

<description>The default connection profile</description>

</property>

<property>

<name>hplsql.conn.hive2conn</name>

<value>org.apache.hive.jdbc.HiveDriver;jdbc:hive2://172.16.212.17:10000/liuxiaowen;liuxiaowen;</value>

<description>HiveServer2 JDBC connection</description>

</property>

<property>

<name>hplsql.conn.mysql.conn

<value>com.mysql.jdbc.Driver;jdbc:mysql://172.16.212.102:3306/test;test;test1234</value>

<description>MySQL connection</description>

</property>

其中，

引數hplsql.conn.default表示預設的聯結器為hive2conn；

引數hplsql.conn.hive2conn表示hive2conn的具體連結串；

引數hplsql.conn.mysql.conn表示mysql的具體連結串。

特別注意：原始的hplsql-site.xml給出的是hplsql.conn.mysqlconn，經過測試有bug，這裡的連結名稱中必須包含”mysql.”，才會被正確解析成MYSQL的連結型別，否則，全被解析成HIVE，其他非Hive的資料庫連結名稱也是如此。

開發PL/HQL指令碼

PL/HQL指令碼1.sql中的內容如下：

1. MAP OBJECT log TO test.hive_task_log AT mysql.conn;
2. DECLARE
3. start_time VARCHAR(20);
4. end_time VARCHAR(20);
5. return_code INT;
6. BEGIN
7. start_time = SYSDATE ||'';
8. SELECT COUNT(1) FROM liuxiaowen.lxw1234;
9. return_code = SQLCODE;
10. end_time = SYSDATE ||'';
11. INSERT INTO log (`start_time`,`end_time`,`return_code`)
12. VALUES(start_time,end_time,return_code);
13. EXCEPTION WHEN OTHERS THEN
14. return_code = SQLCODE;
15. end_time = SYSDATE ||'';
16. INSERT INTO log (`start_time`,`end_time`,`return_code`)
17. VALUES(start_time,end_time,return_code);
18. DBMS_OUTPUT.PUT_LINE('SQL execute error,return code : '|| return_code);
19. END

其中：

MAP OBJECT log TO test.hive_task_log AT mysql.conn;

這句是使用mysql.conn連結器，將test.hive_task_log表對映到log物件上，後面直接使用log即可。

SELECT COUNT(1) FROM liuxiaowen.lxw1234;

這句是執行Hive的分析任務。

return_code = SQLCODE;

這句是獲取Hive分析任務的結果狀態碼，0表示正常，非0表示錯誤；

另外，在Hive分析任務開始前和結束後，使用SYSDATE獲取當前時間。

使用PL/HQL的異常處理，當執行有問題時候，同樣需要往審計表中記錄開始和結束時間，以及返回的錯誤碼。

執行PL/HQL並檢視結果

在命令列執行hplsql -f 1.sql

從執行的列印資訊中可以看出，本次執行有兩個資料庫連結，第一個是連結到Hive，第二個是連結到MySQL。

在MySQL中查看錶test.hive_task_log的資料：

修改1.sql檔案，使Hive的分析任務出錯：

SELECT COUNT(1) FROM liuxiaowen.lxw1234.com;

再執行一遍：

已經報錯了，檢視MySQL中的審計資訊：

遺憾的是，目前還不支援直接將Hive中的表和MySQL中的表關聯起來查詢，只能通過類似遊標的方式去實現關聯。

更多關於Hive中使用儲存過程的文章，閱讀《Hive儲存過程系列文章》。

您可以關注 lxw的大資料田地 ，或者 加入郵件列表 ，隨時接收部落格更新的通知郵件。

如果覺得本部落格對您有幫助，請 贊助作者 。