2. 程式人生 > >Java 嵌入 SPL 輕鬆實現資料分組

Java 嵌入 SPL 輕鬆實現資料分組

阿新 • • 發佈：2018-12-10

要在 Java 程式碼中實現類似 SQL 中的 GroupBy 分組聚合運算，是比較繁瑣的，通常先要宣告資料結構（Java 實體類），然後用 Java 集合進行迴圈遍歷，最後根據分組條件新增到某個子集合中。Java 8 有了 Lambda（stream）程式碼簡潔了許多，分組後往往還要跟著聚合操作，仍然需要單寫聚合函式 sum(),count(*),topN()等。這些還都是最常規的分組和聚合運算，遇到對位分組、列舉分組、多重分組等非常規分組加上其他聚集函式 (FIRST，LAST…)，程式碼就變得非常冗長且不通用。如果能有一箇中間件專門負責這類計算，採用類似 SQL 指令碼做演算法描述，在 Java 中直接呼叫指令碼並返回結果集就好了。Java 版集算器和 SPL 指令碼，就是這樣的機制，下面舉例說明如何使用。

SPL 實現

  • 常規分組

duty.xlsx 檔案中儲存著每個人的加班記錄:

workday

name

2016-02-05

Ashley

2016-02-08

Ashley

2016-02-09

Ashley

2016-02-10

Johnson

2016-02-11

Johnson

2016-02-12

Johnson

2016-02-15

Ashley

2016-02-16

Ashley

2016-02-17

Ashley


彙總每個人的值班天數：

A

1

=file("/Users/test/duty.xlsx")[email protected]()

2

=A1.groups(name;count(name):count)

imagepng

儲存指令碼檔案CountName.dfx(嵌入 Java 會用到)

  • 每組 TopN

取每個月、每個人、頭三天的加班記錄

A

1

=file("/Users/test/duty.xlsx")[email protected]()

2

=A1.group(month(workday):mon,name;~.top(3):top3)

imagepng

儲存指令碼檔案RecMonTop3.dfx(嵌入 Java 會用到)

Java 呼叫

SPL 嵌入到 Java 應用程式十分方便，通過 JDBC 呼叫儲存過程方法載入，用常規分組儲存的檔案CountName.dfx，示例呼叫如下：

...  Connection con = null;  Class.forName("com.esproc.jdbc.InternalDriver");  con= DriverManager.getConnection("jdbc:esproc:local://"); //呼叫儲存過程，其中CountName是dfx的檔名  st =(com. esproc.jdbc.InternalCStatement)con.prepareCall("call CountName()");  //執行儲存過程  st.execute();  //獲取結果集  ResultSet rs = st.getResultSet(); ......  Connection con = null;  Class.forName("com.esproc.jdbc.InternalDriver");  con= DriverManager.getConnection("jdbc:esproc:local://"); //呼叫儲存過程，其中CountName是dfx的檔名  st =(com. esproc.jdbc.InternalCStatement)con.prepareCall("call CountName()");  //執行儲存過程  st.execute();  //獲取結果集  ResultSet rs = st.getResultSet(); ...

 

替換成 RecMonTop3.dfx 是同樣的道理，只需 call RecMonTop3() 即可，也可同時返回兩個結果集。這裡只用 Java 片段粗略解釋瞭如何嵌入 SPL，詳細步驟請參閱 Java 如何呼叫 SPL 指令碼 ，也非常簡單，不再贅述。同時，SPL 也支援 ODBC 驅動，整合到支援 ODBC 的語言，嵌入過程類似。

拓展節選

之前沒有相關的總結，其實關於資料分組，細分起來其實還有很多種，對位分組、列舉分組、多重分組…，在乾學院 SPL 官方論壇都有總結和示例，這裡節選其中兩種。

  • SPL 對位分組

示例 1：按順序分別列出使用 Chinese、English、French 作為官方語言的國家數量

MySQL8: with t(name,ord) as (select 'Chinese',1 union all select 'English',2 union all select 'French',3) select t.name, count(countrycode) cnt from t left join world.countrylanguage s on t.name=s.language where s.isofficial='T' group by name,ord order by ord;MySQL8: with t(name,ord) as (select 'Chinese',1 union all select 'English',2 union all select 'French',3) select t.name, count(countrycode) cnt from t left join world.countrylanguage s on t.name=s.language where s.isofficial='T' group by name,ord order by ord;

 

注意：表的字符集和資料庫會話的字符集要保持一致。

(1) show variables like ’character_set_connection’檢視當前會話字符集

(2) show create table world.countrylanguage 查看錶的字符集

(3) set character_set_connection=[字符集] 更新當前會話字符集

集算器 SPL:

A

1

=connect("mysql")

2

[email protected]("select   * from world.countrylanguage where isofficial='T'")

3

[Chinese,English,French]

4

[email protected](A3,Language)

5

=A4.new(A3(#):name, ~.len():cnt)

A1: 連線資料庫

A2: 查詢出所有官方語言的記錄

A3: 需要列出的語言

A4: 將所有記錄按 Language 對位到 A3 相應位置

A5: 構造以語言和使用此語言為官方語言的國家數量的序表

示例 2：按順序分別列出使用 Chinese、English、French 及其它語言作為官方語言的國家數量

MySQL8: with t(name,ord) as (select 'Chinese',1 union all select 'English',2 union all select 'French',3 union all select 'Other', 4), s(name, cnt) as ( select language, count(countrycode) cnt from world.countrylanguage s where s.isofficial='T' and language in ('Chinese','English','French') group by language union all select 'Other', count(distinct countrycode) cnt from world.countrylanguage s where isofficial='T' and language not in ('Chinese','English','French') ) select t.name, s.cnt from t left join s using (name) order by t.ord;MySQL8: with t(name,ord) as (select 'Chinese',1 union all select 'English',2 union all select 'French',3 union all select 'Other', 4), s(name, cnt) as ( select language, count(countrycode) cnt from world.countrylanguage s where s.isofficial='T' and language in ('Chinese','English','French') group by language union all select 'Other', count(distinct countrycode) cnt from world.countrylanguage s where isofficial='T' and language not in ('Chinese','English','French') ) select t.name, s.cnt from t left join s using (name) order by t.ord;

 

集算器 SPL:

A

1

=connect("mysql")

2

[email protected]("select   * from world.countrylanguage where isofficial='T'")

3

[Chinese,English,French,Other]

4

[email protected](A3.to(3),Language)

5

=A4.new(A3(#):name, if(#<=3,~.len(), ~.icount(CountryCode)):cnt)

A4: 將所有記錄按 Language 對位到 A3.to(3) 相應位置，並追加一組用於存放不能對位的記錄

A5: 第 4 組計算不同 CountryCode 的數量

  • SPL 列舉分組

示例 1：按順序列出各型別城市的數量

MySQL8: with t as (select * from world.city where CountryCode='CHN'), segment(class,start,end) as (select 'tiny', 0, 200000 union all select 'small',  200000, 1000000 union all select 'medium', 1000000, 2000000 union all select 'big', 2000000, 100000000 ) select class, count(1) cnt from segment s join t on t.population>=s.start and t.population<s.end group by class, start order by start;MySQL8: with t as (select * from world.city where CountryCode='CHN'), segment(class,start,end) as (select 'tiny', 0, 200000 union all select 'small',  200000, 1000000 union all select 'medium', 1000000, 2000000 union all select 'big', 2000000, 100000000 ) select class, count(1) cnt from segment s join t on t.population>=s.start and t.population<s.end group by class, start order by start;

 

集算器 SPL:

A

1

=connect("mysql")

2

[email protected]("select * from world.city where   CountryCode='CHN'")

3

=${string([20,100,200,10000].(~*10000).("?<"/~))}

4

[tiny,small,medium,big]

5

=A2.enum(A3,Population)

6

=A5.new(A4(#):class, ~.len():cnt)

A3: ${…} 巨集替換，以大括號內表示式的結果作為新表示式進行計算，結果為序列 [“?<200000”,“?<1000000”,“?<2000000”,“?<100000000”]

A5: 針對 A2 中每條記錄，尋找 A3 中第 1 個成立的條件，並追加到對應的組中

示例 2：列出華東地區大型城市數量、其它地區大型城市數量、非大型城市數量

MySQL8: with t as (select * from world.city where CountryCode='CHN') select 'East&Big' class, count(*) cnt from t where population>=2000000 and district in ('Shanghai','Jiangshu', 'Shandong','Zhejiang','Anhui','Jiangxi') union all select 'Other&Big', count(*) from t where population>=2000000 and district not in ('Shanghai','Jiangshu','Shandong','Zhejiang','Anhui','Jiangxi') union all select 'Not Big', count(*) from t where population<2000000;MySQL8: with t as (select * from world.city where CountryCode='CHN') select 'East&Big' class, count(*) cnt from t where population>=2000000 and district in ('Shanghai','Jiangshu', 'Shandong','Zhejiang','Anhui','Jiangxi') union all select 'Other&Big', count(*) from t where population>=2000000 and district not in ('Shanghai','Jiangshu','Shandong','Zhejiang','Anhui','Jiangxi') union all select 'Not Big', count(*) from t where population<2000000;

 

集算器 SPL:

A

1

=connect("mysql")

2

[email protected]("select * from world.city where   CountryCode='CHN'")

3

[Shanghai,Jiangshu, Shandong,Zhejiang,Anhui,Jiangxi]

4

[?(1)>=2000000   && A3.contain(?(2)), ?(1)>=2000000 && !A3.contain(?(2))]

5

[East&Big,Other&Big, Not Big]

6

[email protected](A4, [Population,District])

7

=A6.new(A5(#):class, A6(#).len():cnt)

A5: [email protected] 將不滿足 A4 中所有條件的記錄存放到追加的最後一組中

示例 3：列出所有地區大型城市數量、華東地區大型城市數量、非大型城市數量

MySQL8: with t as (select * from world.city where CountryCode='CHN') select 'Big' class, count(*) cnt from t where population>=2000000 union all select 'East&Big' class, count(*) cnt from t where population>=2000000 and district in ('Shanghai','Jiangshu','Shandong','Zhejiang','Anhui','Jiangxi') union all select 'Not Big' class, count(*) cnt from t where population<2000000;MySQL8: with t as (select * from world.city where CountryCode='CHN') select 'Big' class, count(*) cnt from t where population>=2000000 union all select 'East&Big' class, count(*) cnt from t where population>=2000000 and district in ('Shanghai','Jiangshu','Shandong','Zhejiang','Anhui','Jiangxi') union all select 'Not Big' class, count(*) cnt from t where population<2000000;

 

集算器 SPL:

A

1

=connect("mysql")

2

[email protected]("select * from world.city where   CountryCode='CHN'")

3

[Shanghai,Jiangshu, Shandong,Zhejiang,Anhui,Jiangxi]

4

[?(1)>=2000000, ?(1)>=2000000 && A3.contain(?(2))]

5

[Big, East&Big, Not Big]

6

[email protected](A4, [Population,District])

7

=A6.new(A5(#):class, A6(#).len():cnt)

A6: 若 A2 中記錄滿足 A4 中多個條件時，[email protected] 會將其追加到對應的每個組中

優勢總結

  • 有庫寫 SQL，沒庫寫 SPL
    用 Java 程式直接彙總計算資料，還是比較累的，程式碼很長，並且不可複用，很多情況資料也不在資料庫裡，有了 SPL，就能像在 Java 中用 SQL 一樣了，十分方便。

  • 常用無憂，不花錢就能取得終身使用權的入門版
    如果要分析的資料是一次性或臨時性的，潤乾集算器每個月都提供免費試用授權，可以迴圈免費使用。但要和 Java 應用程式整合起來部署到伺服器上長期使用，定期更換試用授權還是比較麻煩，潤乾提供了有終身使用權的入門版，解決了這個後顧之憂，獲得方式參考 如何免費使用潤乾集算器？

  • 技術文件和社群支援
    官方提供的集算器技術文件本身就有很多現成的例子，常規問題從文件裡都能找到解決方法。如果獲得了入門版，不僅能夠使用 SPL 的常規功能，碰到任何問題都可以去乾學院上去諮詢，官方通過該社群對入門版使用者提供免費的技術支援。

相關推薦

Java 嵌入 SPL 輕鬆實現資料分組

要在 Java 程式碼中實現類似 SQL 中的 GroupBy 分組聚合運算，是比較繁瑣的，通常先要宣告資料結構（Java 實體類），然後用 Java 集合進行迴圈遍歷，最後根據分組條件新增到某個子集合中。Java 8 有了 Lambda（stream）程式碼簡潔了許多，分組後往往還要跟著聚合操作，仍然需

Java 嵌入 SPL 輕鬆實現 Excel 檔案合併

大多數JAVA程式猿都選擇使用POI或者HSSFWorkbook等第三方類庫來實現Excel自動化合並，這樣一來不僅需要噼裡啪啦的敲好多程式碼，費事費力，而且用起來靈活度也不高，對Excel的格式要求也很嚴格。如果能有一個專用的外部資料工具，寫簡單類似SQL的指令碼來實現，然後在JAVA中直接呼叫並

java使用poi包實現資料匯出

匯出資料可以寫成一個工具類，具體程式碼如下： package com.kanzhun.phoenix.admin.util; import org.apache.poi.hssf.usermodel.*; import org.apache.poi.hssf.util.HSSFCo

第11篇 java 8----用流收集資料 -----分組

** * 一個常見的資料庫操作是根據一個或多個屬性對集合中的專案進行分組。就像前面講到按貨 * 幣對交易進行分組的例子一樣，如果用指令式風格來實現的話，這個操作可能會很麻煩、囉嗦而 * 且容易出錯。但是，如果用Java 8所推崇的函式式風格來重寫的話，就很容易轉化為一個

java 三層架構 實現資料的顯示和分頁功能

  /*    *  <!-- 隱藏域 false:表示點選的是上頁下頁   true:表示點選的是 "搜尋" 按鈕 -->             <input type="hidden"  name="flag" id="flag"  value="true" >    */   

用java也可以輕鬆實現收集系統資訊：Sigar介紹

Sigar簡介 今天意外發現了一個開源工具包 SIGAR - System Information Gatherer And Reporter，即 系統資訊收集和報告。 官方站點： http://support.hyperic.com/display/SIGAR/Home;j

Java實現資料統計的常用演算法

求和、平均值、眾數、中位數、中列數、四分位數、極差、四分位數、截斷均值、方差、絕對平均差（AAD）、中位數絕對偏差、標準差 的數學方法 package cn.javacodes.utils; import java.util.Arrays; import java.util.HashMap;

Java實現GroupBy/分組TopN功能

tostring .com 定義 排序 ati char 內排序 tex nta 介紹 在Java 8 的Lambda（stream）之前，要在Java代碼中實現類似SQL中的group by分組聚合功能，還是比較困難的。這之前Java對函數式編程支持不是很好，Scala則

Java---之實現資料結構----佇列

package 資料結構;//java之實現佇列 class quene{ private class Data{ private Object obj; private Data next=null; Data(Object obj){

java之---實現資料結構--棧(基本版)

package 資料結構; /** * java程式碼實現棧 */ class stack { private class Data { private Object obj; private Data next = null; Da

【Java】 歸併排序的非遞迴實現 資料結構與演算法合集 資料結構與演算法合集

　　歸併排序可以採用遞迴方法（見：歸併排序），但遞迴方法會消耗深度位O(longn)的棧空間，使用歸併排序時，應該儘量使用非遞迴方法。本文實現了java版的非遞迴歸併排序。 更多：資料結構與演算法合集 思路分析 　　遞迴排序的核心是merge(int[] arr, int start, int mid,

使用者登入使用java的IO流實現將資料儲存到data目錄下

一、效果展示 1、最初可以看到data/data目錄下該專案只有一個cache資料夾和lib檔案 第一次執行程式，使用者名稱和密碼皆為空。 當我們輸入使用者名稱和密碼後，點選登入專案目錄下出現名為info.txt的文件，開啟它可以看到原先輸入的使用者名稱和密碼。 第二次執行

Java實現資料夾的複製

Java複製當個檔案很簡答，我們直接通過io操作即可。但複製一個資料夾時就不同了。最主要的難點在於不知道檔案的結構。 實現思路： 1.遍歷目標檔案下的所有子檔案和目錄。 2.遍歷所有子檔案判斷是目錄還是檔案，如果是目錄的話先建立該目錄，然後再遞迴進入該目錄遍歷，反之則複製檔案。 &n

Java基於httpclient獲取網頁資料，實現簡單網路爬蟲

1、pom檔案引入httpclient依賴     <dependency>             <groupId>org.apache.httpcompon

MQTT Java客戶端Eclipse paho實現資料的傳送和接收

MQTT(MQ Telemetry Transport)是IBM開發的一種網路應用層的協議 使用場景： 1、不可靠、網路頻寬小的網路 2、執行的裝置CPU、記憶體非常有限 特點： 1、基於釋出/訂閱模型的協議 2、他是二進位制協議，二進位制的特點就是緊湊、佔用

Java位元組流實現資料夾的拷貝

　　   　　 　　import java.io.File; 　　import java.io.FileInputStream; 　　import java.io.FileOutputStream; 　　import java.io.IOException;

SpringBoot利用java反射機制，實現靈活讀取Excel表格中的資料和匯出資料至Excel表格

如果直接把固定Excel表格模板中的資料匯入資料庫，直接將Excel中的資料讀取出來，再存入資料庫中即可，將資料匯出至固定的Excel模板方法類似。但是，有時候，開發製作的模板與客戶需要的往往有些許差別（欄位排版、欄位數量等）。為了實現匯入匯出的靈活性，將利用java的反射機

用Java+xml配置方式實現Spring資料事務（程式設計式事務）

一、用Java配置的方式 1、實體類： Role  public class Role { private int id; private String roleName; private String note; @Override

使用java自造TCP/IP協議棧：使用JPCAP實現資料發包

從本節開始，我們打算使用java把tcp/ip網路協議棧重新實現一遍。這是一個不小的野心，自然也是一個不小的工程，好在前面順利完成了作業系統，編譯器兩門課程的實現，這給了我極大的信心。整個網際網路系統分為三大支柱，分別是作業系統，編譯器，和網路協議，我們完成了前面三者，還剩第三者一直孤懸

Python資料相關係數矩陣和熱力圖輕鬆實現

對其中的引數進行解釋 plt.subplots(figsize=(9, 9))設定畫面大小，會使得整個畫面等比例放大的 sns.heapmap()這個當然是用來生成熱力圖的啦 df是DataFram