1. 程式人生 > >Kettle 與 Talend Open Studio 的 ETL 比較以及其它ETL工具(網路收集)

Kettle 與 Talend Open Studio 的 ETL 比較以及其它ETL工具(網路收集)

   Kettle 與 Talend Open Studio 的 ETL 比較

Pentaho Data Integration (Kettle)是Pentaho生態系統中預設的ETL工具。通過非常直觀的圖形化編輯器(Spoon),您可以定義以XML格式儲存的流程。在Kettle執行過程中,這些流程會以不同的方法編譯。用到的工具包括命令列工具(Pan),小型伺服器(Carte),資料庫儲存庫(repository)(Kitchen)或者直接使用IDE(Spoon)。

      Talend Open Studio是 Talend 開發的ETL工具——Talend 是一家主營資料整合和資料管理解決方案的企業。Talend 採用使用者友好型,綜合性很強的IDE(類似於Pentaho Kettle 的 Spoon)來設計不同的流程。這些流程可以在IDE內部測試並編譯成Java 程式碼。您可以隨時檢視並編輯生成的Java程式碼,同時實現強大的控制力和靈活性。

      兩者都非常優秀,都屬於使用者友好型的交叉平臺(基於Java的)工具。它們的主要差異在於Kettle 將 ELT 流程編譯為 XML 格式,然而Talend Open Studio 則生成 Java 程式碼。

學習曲線、易用性以及文件

      Pentaho Kettle 和 Talend Open Studio 都是使用者友好型工具。它們都擁有優秀的資料和資料庫管理背景(JDBC,SQL,檔案格式化,程式設計基礎,等等),成為高產能的工具指日可待。 

      Kettle 和 Talend 都提供圖形化工具使工作更加簡便快捷。這些工具可以幫助您迅速設計並測試出可靠的 ETL 流程。

      Pentaho Kettle 學起來十分簡單,但與 Talend 的產品相比功能略少。Talend Open Studio 更難掌握,但是一旦您熟悉的它的 IDE,您就可以享受到這個工具強大的靈活與效力。使用 Talend Open Studio 的一個要求是正確定義您要處理的資料的 schema,在這個工程中,它的 IDE 大有助益。而在這一點上,Kettle 限制更少,因此您可以更快地建立起流程來。而且定義元資料對 Talend 來說是一個重要的功能,因為這會幫助您在生產環境中做出更可靠的流程。

      Talend Open Studio 和 Pentaho Kettle 都是使用者友好型,擁有豐富文件和強大社群支援的產品。只不過 Talend Open Studio 需要您投入稍大的精力來熟悉。但是,一旦您入門了,您就可以享受到這個工具的強大和潛力。

可靠、成熟、技術支援

      Talend 和 Pentaho 都有強大的社群支援,而且都是強大、知名的的企業。開源商務智慧是不斷髮展,而實際使用中的應用程式正變得越來越相同。 
      在這個背景下,Talend 和 Pentaho 都提供了它們的開源 ETL 工具,並得到了廣泛地使用。它們在實際使用中發展,同商用軟體一樣以任務為功能實現的核心。 
      Talend 更專注於資料整合和資料管理解決方案(當然,現在還要加上 SOA),然而 Pentaho 主要集中於商務智慧。Talend Open Studio 得到了 Talend 非常活躍地開發,而且該公司已經建立了一個豐富的資料整合生態系統,而 Kettle 是 Pentaho 的一個重要專案,只是比起 Talend 的產品,開發與擴充套件方面還稍遜一籌。 

      Pentaho 和 Talend 的解決方案都非常可靠,成熟,而且發展迅速。實際運用中兩者實現的功能有所趨同。經由訂閱您可以獲得支援服務,也可以按照需求取得直接的諮詢服務。

元件、技術與功能

      Talend Open Studio 是基於 Eclipse 的 Java 工具。您在圖形化編輯器中設計的流程可以使用 Java 語言編譯。此時,您可以輕鬆地使用 Java 全部的生態系統 
      Talend Open Studio 的元件種類和具有的功能非常豐富,既有通用工具,也有專用工具。在通用工具中,Talend 配備了一套 RDBMS 元件,通過它們您很快就可以掌握某個特定 DB 廠商的高階功能。您可以將用到的定義儲存在多個不同的儲存庫(repository)中,從而在專案發展中使用這些定義。 
      Pentaho Data Integration (Kettle) 使用 Java (Swing)開發。Kettle 作為編譯器對 XML 格式書寫的流程進行編譯。這些功能和元件比起 Talend 在豐富性方面稍遜一些,但是您建立複雜 ETL 流程需要的一切元素。Kettle 的 JavaScript 引擎(和 Java 引擎)可以深層地控制對資料的處理。 

      Talend 功能更加豐富,比起 Kettle 擁有更加靈活的技術特點。通過 Talend,您可以輕鬆地使用完整的 Java 生態和一些DB廠商提供的專用的DB功能。Kettle 工具也很優秀,同時更加專注於 ETL 功能。 

其它ETL工具

1、 KETL     
    KETL是首屈一指的,開源的ETL工具。資料整合平臺是建立與行動式,基於Java的體系結構和開放的,基於XML的配置和工作語言。 KETL功能可以成功地與主要商業產品競爭今日。 · 授權協議: LGPL/GPL · 開發語言: Java · 作業系統: 跨平臺
2Palo ETL Server 
       Palo ETL Server 是一個 Java 的工具用來對資料進行抽取、轉換和載入到 Palo OLAP Server 中,該專案已經整合到 Palo BI Suite 中,並且不再更新。 · 授權協議: 未知 · 開發語言: Java · 作業系統: 跨平臺
3Scriptella
        Scriptella 是一個開源的 ETL (抽取-轉換-載入)工具和一個指令碼執行工具,採用 Java 開發。
任務配置示例
<!DOCTYPE etl SYSTEM "http://scriptella.javaforge.com/dtd/etl.dtd">
<etl>
    <connection driver="$driver" url="$url" user="$user" password="$password"/>
    <script>
        <include href="PATH_TO_YOUR_SCRIPT.sql"/>
        -- And/or directly insert SQL statements here
    </script>
</etl>
授權協議: Apache
開發語言: Java
作業系統: 跨平臺

4Enhydra Octopus       Enhydra Octopus 是一個基於 Java 開發的資料ETL(抽取、轉換和載入)工具,可以連線到相容JDBC的資料庫並根據XML定義檔案對資料進行抽取和處理。
· 授權協議: GPL · 開發語言: Java · 作業系統: 跨平臺
5Apatar          Apatar是一個開源的資料抽取、轉換、 裝載(ETL)專案。模組化的架構。提供視覺化的Job設計器與對映工具,支援所有主流資料來源,提供靈活的基於 GUI、伺服器和嵌入式的部署選項。 · 授權協議: GPL · 開發語言: Java · 作業系統: 跨平臺
6Talend (踏藍)        Talend (踏藍) 是第一家針對的資料整合工具市場的ETL(資料的提取Extract、傳輸Transform、載入Load)開源軟體供應商。 Talend以它的技術和商業雙重模式為ETL服務提供了一個全新的遠景。它打破了傳統的獨有封閉服務,提供了一個針對所有規模的公司的公開的,創新的,強大的靈活的軟體解決方案。最終,由於Talend的出現,資料整合方案不再是被大公司所獨享。 · 授權協議: GPL · 開發語言: Java · 作業系統: 跨平臺

7CloverETL ETL 是一切資料倉庫應用的基礎。CloverETL 是一個基於 Java 的開源的 ETL 框架,同時還包含了一個 ETL設計器——CloverETL Designer。核心的演算法就是一個數據流網路。

一 ETL工具
【國外】

1. datastage
點評:最專業的ETL工具,價格不菲,使用難度一般

下載地址:ftp://ftp.seu.edu.cn/Pub/Develop ... taStage.v7.5.1A-iSO

BT種子下載:http://pan.baidu.com/share/link?shareid=172289&uk=67437475

---------------------------------------

2. informatica
點評:專業程度如Datastage旗鼓相當,價格似乎比Datastage便宜。

Informatica PowerCenter 8.6.1 for Win 32Bit

服務端下載:http://pan.baidu.com/share/link?shareid=183214&uk=67437475
客戶端下載:http://pan.baidu.com/share/link?shareid=183217&uk=67437475

Informatica PowerCenter 8.6.0 for Win 32Bit
BT種子下載:http://pan.baidu.com/share/link?shareid=172290&uk=67437475

Informatica PowerCenter 8.1.1 for Win 32Bit
安裝包下載:http://pan.baidu.com/share/link?shareid=183201&uk=67437475
---------------------------------------

3. kettle
點評:業界最有名的開源ETL工具。開源當然就免費,免費的有些東西使用就不是很方便。

下載地址:http://kettle.pentaho.com/

---------------------------------------

4. ODI
點評:oracle資料庫廠商提供的工具,有侷限性,與oracle資料庫耦合太深。

下載地址: www.oracle.com/technetwork/cn/testcontent/index-091026-zhs.html

---------------------------------------

5.Cognos

下載地址:http://www.ibm.com/developerworks/cn/downloads/im/cognosbi/

Cognos BI 8.3

BT種子下載: http://pan.baidu.com/share/link?shareid=172287&uk=67437475

Cognos BI 8.4 
BT種子下載:http://pan.baidu.com/share/link?shareid=172288&uk=67437475

------------------------------------------
【國內】
6. beeload
點評: 最好的國產ETL工具,但產品化程度還有一定距離。

下載地址: www.livbee.com
---------------------------------------

二 專業排程工具
有人說: ETL是BI的基礎,而排程是ETL的靈魂,可見排程的重要性!
排程原本是ETL技術的一個分支,但這些年, 排程越來似乎有走獨立工具的趨勢。雖然在ETL工具有排程功能,但與獨立排程工具相比,ETL工具的排程就顯得很弱了。

【國外】
1. Control-M
點評:你當了大哥太多年,確實有點寂寞。不論是你的規模、價格、使用難度,都很偉大,但我一界平民,你對我只是傳說。

官網地址:www.bmc.com

--------------------------------------

【國內】

2. taskctl
點評:排程新秀。專業,而且設計獨特、體驗友好。易安裝、易使用,看好其前景。
下載地址:http://www.taskctl.com/html/2012 ... 8b57714a50a15a.html

--------------------------------------

3. ETS
點評:專業化有待提升
官網地址:http://www.etlschedule.com/

--------------------------------------

4. Moia
點評:產品與專案是有區別的,不要總是在產品化與客戶化之間徘徊。
官網地址:http://www.adtec.com.cn/_d271218319.htm
--------------------------------------

5. ETL-Plus
點評:功能全,遺憾的是東南倒塌。
下載地址:[無]