kettle排程現狀、痛點及解決方法
kettle作為非常優秀的開源ETL工具得到了非常廣泛的使用,一般的使用的都是使用客戶端操作管理,但問題是當投入生產環境使用時,動輒上百或幾百個job需要管理,這時在使用客戶端管理已經很難完成了。
我所知道的解決方案有用命令列的呼叫的,操作麻煩,體驗很差(基於命令列上構架出來的一般都用Linux的crontab、或者是Windows下用定時器等);還有就是開發web端管理工具,kettle自帶了一個web端管理工具,介面極其簡陋不說,還很難用,基本無法投入生產環境使用。
上述方法不能滿足後,我開始尋求第三方工具,發現其實排程界的產品還是有很多,有Control-M、TASKCTL等專注排程的老牌廠商;有外包專案整合的Moia、ETS、WFT、IBM整合的排程工具;也有開源的Oozie、Zeus、Azkaban。
挨個檢視一下資料後,感覺taskctl應該算裡面比較簡單的,試用後taskctl,還不錯,他們家不僅僅對Kettle支援不錯,基本上市面上常見的資料庫、各種類似的大資料、ETL工具、各種指令碼語言都有這不錯的支援力度,即使不支援的,也可以自己擴充套件。
下面是一些在查詢資料過程中收集到的帖子,也一併分享個大家。
如果有什麼地方說的不對,請大家多多指正,共同學習進步!
相關推薦
kettle排程現狀、痛點及解決方法
kettle作為非常優秀的開源ETL工具得到了非常廣泛的使用,一般的使用的都是使用客戶端操作管理,但問題是當投入生產環境使用時,動輒上百或幾百個job需要管理,這時在使用客戶端管理已經很難完成了。 我所知道的解決方案有用命令列的呼叫的,操作麻煩,體驗很差(基於命令列上構架出
ionic創建工程中遇到異常、錯誤及解決方法
右鍵 ive hub reac 個推 註意 code down 添加 1. 創建工程——download failed ionic start myApp tabs 遇到如下錯誤 Downloading--Failed! Error:Timeout of 25000m
分散式儲存的架構、隱患及解決方法
作者簡介: 顧炯 中國電信浙江公司中國電信雲端計算實驗室、SDx聯合技術開放實驗室專家委員。作為第一完成人,多個專案獲得省部級和集團級科技進步獎。 上篇中我們講了關於分散式儲存的知識結構的前三部分內容,儲存型別、檔案系統、儲存介質等,可點選下面的連結檢視: 今天我們繼續來講講關於Raid和副本、
深度學習模型訓練痛點及解決方法
1 模型訓練基本步驟 進入了AI領域,學習了手寫字識別等幾個demo後,就會發現深度學習模型訓練是十分關鍵和有挑戰性的。選定了網路結構後,深度學習訓練過程基本大同小異,一般分為如下幾個步驟 定義演算法公式,也就是神經網路的前向演算法。我們一般使用現成的網路,
帶你深入AI(1) - 深度學習模型訓練痛點及解決方法
系列文章,請多關注 Tensorflow原始碼解析1 – 核心架構和原始碼結構 自然語言處理1 – 分詞 帶你深入AI(1) - 深度學習模型訓練痛點及解決方法 帶你深入AI(2)- 深度學習啟用函式,準確率,優化方法等總結 帶你深入AI(3)- 物體分類領域:AlexNet VGG I
服務器出現 HTTP 400、404、500、502 錯誤原因及解決方法
服務器出現 http 400、404基本涵蓋了所有問題HTTP 400 – 請求無效HTTP 401.1 – 未授權:登錄失敗HTTP 401.2 – 未授權:服務器配置問題導致登錄失敗HTTP 401.3 – ACL 禁止訪問資源HTTP 401.4 – 未授權:授權被篩選器拒絕HTTP 401.5 – 未
安裝SQL Server 2012過程中出現“啟用windows功能NetFx3時出錯”(錯誤原因、詳細分析及解決方法)以及在Windows Server2012上安裝.NET Framework
問題:在伺服器(作業系統為Windows server 2012)上安裝SQL Server 2012的過程中,安裝停留在下圖所示的介面上,顯示”正在啟用作業系統功能NetFx3”隨後出現提示框,告知啟用windows功能NetFx3時出錯。 分析:NetFx3指的
神經網路中的過擬合的原因及解決方法、泛化能力、L2正則化
過擬合:訓練好的神經網路對訓練資料以及驗證資料擬合的很好,accuracy很高,loss很低,但是在測試資料上效果很差,即出現了過擬合現象。 過擬合產生的原因: (1)資料集有噪聲 (2)訓練資料不足 (3)訓練模型過度導致模型非常複雜 解決方法: (1)降低模型
快取失效、穿透、併發、雪崩問題及解決方法
1 快取失效 引起這個原因的主要因素是高併發下,一般設定一個快取的過期時間時,併發很高時可能會出在某一個時間同時生成很多的快取,並且過期時間在同一時刻,這個時候就可能引發——當過期時間到後,這些快取同時失效,請求全部轉發到DB,DB可能會壓力過重。
OpenResty的現狀、趨勢、使用及學習方法
一.前言 我們都知道Nginx有很多的特性和好處,但是在Nginx上開發成了一個難題,Nginx模組需要用C開發,而且必須符合一系列複雜的規則,最重要的用C開發模組必須要熟悉Nginx的原始碼,使得開發者對其望而生畏。為了開發人員方便,所以接下來我們要介紹一種整合了Ng
Theano在windows下的正確安裝、會出現的問題及解決方法
1. Anaconda 安裝 Anaconda是一個科學計算環境,自帶的包管理器conda很強大。之所以選擇它是因為它內建了python,以及numpy、scipy兩個必要庫和一些其他庫,比起自己安裝要省事。 首先下載Anaconda3-2.2.0-Windows-x
“display:block-inline形式的Span或Div中新增文字後,導致Span或Div排版掉落、錯位”的原因及解決方法
在開始用display:inline-block的時候,只知道有baseline這麼一說,而且當時記筆記解決了空隙問題,百度一堆文章,什麼終極解決辦法等等,還記錄了一些問題,當時不明白,到今天才明白verticle-align的用法,原來可以這麼用,以後可以隨便玩inli
Ubuntu14.04安裝、配置ROS Indigo時的錯誤及解決方法
最近這段時間在學習ROS,從書籍到網上資料(網頁,課程,包括2017暑期學校等等),覺得要開始操作一下了就開始安裝雙系統,因為之前的安裝的是虛擬機器VMWARE,覺得太慢太卡簡直了,所以慎重決定(一氣之下),刪掉虛擬機器,在我已有的win8.1系統基礎上在再安裝ubuntu1
TCP粘包,拆包及解決方法、丟包的原因及解決辦法
粘包、拆包發生原因 發生TCP粘包或拆包有很多原因,現列出常見的幾點,可能不全面,歡迎補充, 1、要傳送的資料大於TCP傳送緩衝區剩餘空間大小,將會發生拆包。 2、待發送資料大於MSS(最大報文長度),TCP在傳輸前將進行拆包。 3、要傳送的資料小於
[轉][Unity3D]引擎崩潰、異常、警告、BUG與提示總結及解決方法
1.U3D經常莫名奇妙崩潰。 一般是由於空異常造成的,多多檢查自己的引用是否空指標。 2.編碼切換警告提示。 警告提示:Some are Mac OS X (UNIX) and some are Windows. This might lead to incorrect line numbers in
伺服器出現HTTP400、401、402、403錯誤原因及解決方法
HTTP 400 - 請求無效 HTTP 401.1 - 未授權:登入失敗 HTTP 401.2 - 未授權:伺服器配置問題導致登入失敗 HTTP 401.3 - ACL 禁止訪問資源 HTTP 401.4 - 未授權:授權被篩選器拒絕 HTTP 401.5 - 未授權:I
網頁驗證碼的基本原理、常見漏洞及解決方法
前些天查了一些驗證碼的資料,瞭解了一些資訊,也發現了一些網站確實存在的漏洞。下文將分析驗證碼原理及存在的問題。首先宣告:本文僅僅探討技術,請各位讀者不要利用這些資訊進行非法行為,筆者不承擔任何連帶責任!當然,筆者能力有限,這裡也提供不了什麼實質性技術,只是將自己獲取的
Android studio、Cordova生成Apk問題合集及解決方法
1、CordovaClientCertRequest.java:25: 錯誤: 找不到符合 解決辦法: 安裝android sdk 21 2、找不到符號android.support.v4.content.FileProvider File ->
MySql 在Windows 7上安裝常見問題、及解決方法
nec 註冊表 錯誤 cnblogs server chang mark 常見 sql 一、安裝MySQL數據庫(我當前的版本為8.0.11) ? 參見此博客:https://www.cnblogs.com/laumians-notes/p/9069498.html 二、徹
struts2學習筆記——常見報錯及解決方法匯總(持續更新)
允許 clip 之間 con ack 技術 ext tro height 操作環境:(1)Tomcat 7.0.72.0 (2)OS Name: Windows 7 (3)JVM Version: 1.8.0_25-b18 (4)e