kettle8.0原始碼編譯

kettle作為一款開源etl工具，在資料倉庫領域的應用還算是比較廣泛的，做過數倉的朋友應該都知道，在做etl開發的時候，對於引數變數的引用是時常出現的場景，對於一些公共的變數，kettle的做法是啟動的時候預設讀取使用者目錄下一個kettle.properties檔案，這種做法維護起來不是特別方便，如果伺服器有多臺每次新增變數，每臺伺服器都需要維護，為了解決這個問題，可以通過修改kettle原始碼從資料庫讀取達到目的。

原始碼編譯步驟（本文采用idea工具編譯）

• 工具下載：
  kettle原始碼下載：https://github.com/pentaho/pentaho-kettle/tree/8.0.0.0-R

  
  kettle客戶端下載：https://sourceforge.net/projects/pentaho/files
  maven下載：http://maven.apache.org/download.cgi

• idea匯入工程
  解壓下好的原始碼，idea選擇原始碼目錄pom.xml

  
  image.png
  

  開啟UI模組，修改swt的maven地址為org.eclipse.swt.win32.win32.x86_64，不然會報錯，因為預設引用的是Linux的jar包，我們換成Windows的

  
  image.png
  然後將客戶端裡的目錄data-integration\ui下的檔案複製到工程的pentaho-kettle-8.0.0.0-R\ui\src\main\resources\ui目錄下，這裡是一些資原始檔
  等待idea自動匯入依賴jar包。。。。。

• 啟動Spoon.java類
  kettle的啟動類是org.pentaho.di.ui.spoon.Spoon，這時候啟動這個類不出意外kettle的介面就出來了

  
  
  image.png

• 修改原始碼
  找到類org.pentaho.di.core.util.EnvUtil
  environmentInit這個方法會讀取kettle.properties配置檔案載入到kettle全域性變數
  原始碼如下：

Map<Object, Object> kettleProperties = EnvUtil.readProperties( Const.KETTLE_PROPERTIES );
insertDefaultValues( kettleProperties );
applyKettleProperties( kettleProperties );

我們新增一個方法，呼叫一次就OK了：

private static void getMysqlParam() {
    Properties pro = new Properties();
    String key = "";
    String value = "";
    try {
      Class.forName("com.mysql.jdbc.Driver");
      Connection conn = DriverManager.getConnection(
              "jdbc:mysql://xx.xx.xx.xx/xx?useUnicode=true&characterEncoding=utf8",
              "xxxx", "xxxxxx");
      Statement stat = conn.createStatement();
      ResultSet rst = stat.executeQuery("select t.key,t.value from table t ");
      while (rst.next()) {
        key = rst.getString(1);
        value = rst.getString(2);
        //System.out.println(key + "---->" + value);
        pro.put(key, value);
      }
      insertDefaultValues(pro);
      applyKettleProperties(pro);
    } catch (ClassNotFoundException e) {
      e.printStackTrace();
    } catch (SQLException e) {
      e.printStackTrace();
    }

}

• maven打包
  到專案所在目錄執行命令

mvn clean install --settings C:\Users\xn043275.m2\settings.xml -Dmaven.test.skip=true

生成的目標檔案路徑在pentaho-kettle-8.0.0.0-R\assemblies\pdi-ce\target

分享就到這裡，謝謝大家!