ETL(kettle)實戰一:kettle安裝
抽資料快半年了,總結下這半年來的工作。
- ETL安裝,安裝依賴jdk8(自行安裝,jdk需要配置環境變數)
- 下載ETL工具.kettle穩定版 (windows,linux通用)
- 下載後的檔案是壓縮包,解壓到檔案,配置下環境變數就可已使用了。linux安裝同理,需要先安裝jdk,然後解壓檔案,然後配置/etc/profile,配置完記得執行下source /etc/profile使配置檔案生效。
- 測試,開啟cmd 輸入spoon(liunx 輸入kitchen.sh測試)如果不配置環境變數,cmd切換到安裝目錄,執行spoon要是可以的,或者直接開啟資料夾到安裝目錄雙擊spoon.bat也可以。linux配置環境變數也是為了方便操作。jdk配置環境變數是必須的。否則kettle啟動找不到jdk,會報錯。
- 資料庫驅動包需要自己下載,然後放到安裝目錄的lib資料夾下
- ETL(kettle)文件 kettle文件
相關推薦
ETL(kettle)實戰一:kettle安裝
抽資料快半年了,總結下這半年來的工作。 ETL安裝,安裝依賴jdk8(自行安裝,jdk需要配置環境變數) 下載ETL工具.kettle穩定版 (windows,linux通用) 下載後的檔案是壓縮包
ETL(kettle)實戰三:資料抽取規範
寫在前面:上一篇談到的規則及這一篇談到的規範都是本人的經驗總結,不代表一定正確。 kettle開發規範: 1. 對於會發生變化的因素要用變數替換,不能寫死。根據需求嚴格區分在未來哪些有可能變化的,哪些一定會變化的及哪些是不變的,如做增量資料抽取時,增量的時間範圍未來就是有
【遠端呼叫框架】如何實現一個簡單的RPC框架(三)優化一:利用動態代理改變使用者服務呼叫方式
【如何實現一個簡單的RPC框架】系列文章: 這篇部落格,在(一)(二)的基礎上,對第一版本實現的服務框架進行改善,不定期更新,每次更新都會增加一個優化的地方。 1、優化一:利用動態代理改變使用者服務呼叫方式 1.1 目的 改變使用者
iOS執行時(runtime)探究一:重要概念
iOS執行時簡介 因為Objc是一門動態語言,所以它總是想辦法把一些決定工作從編譯連線推遲到執行時。也就是說只有編譯器是不夠的,還需要一個執行時系統 (runtime system) 來執行編譯後的程式碼。這就是 Objective-C Runtime 系統存
踩坑經歷(十二)記一次kettle定時任務延遲執行的排錯過程
生產現場 場景 kettle的.sh批量執行檔案內包含了a.job和b.job,a.job在b.job前面 問題 生產環境下設定的晚上4點執行kettle的b.job作業,4點沒有執行白天12點多執行 排查過程 1.生產環境檢視linux的定時命令
不談OI:高二(13)最後一次班班有歌聲
決賽 .com get 視頻 真的 html 沒有 .html 歌聲 最後一次班班有歌聲了…… 自己因為搞oi並沒有參加,只是決賽的時候幕後放了放背景視頻…… 不管怎麽說,我們班唱的很棒啊,全部人都很棒! 說真的我為我們班驕傲 視頻: https://v.qq.com/x/
(項目實戰一)響應式導航
源碼 資訊 AC 大屏幕 targe eight data- container 首頁 源碼如下: <%-- Created by IntelliJ IDEA. User: shyroke Date: 2018/6/13 0013 Time: 1
深度學習(TensorFlow)環境搭建:(一)硬體選購和主機組裝
一、硬體採購 近年來,人工智慧AI越來越多被人們所瞭解,尤其是AlphaGo的人機圍棋大戰之後,機器學習的熱潮也隨之高漲。最近,公司採購了幾批裝置,通過深度學習(TensorFlow)來研究金融行業相關問題,學習機器學習我們需要滿足一定的硬體要求,本文主要是介紹
Python爬蟲(BeautifulSoup)實戰:抓取豆瓣讀書新書速遞模組
import requests from bs4 import BeautifulSoup html = requests.get('https://book.douban.com/').text s
springcloud feign原始碼分析(8)——停一停腳步:結合feign動態代理的生成原理來畫圖劇透一下feign請求處理機制
我們已經明白了feign動態代理的機制 那麼這一節我們結合畫圖來說一下,對feign動態代理進行請求的時候會幹什麼 除非你在@FeignClient裡配置一個url屬性,指定你要訪問的服務的url地址,才會走我們沒看的一段原始碼邏輯,否則的話,直接是走loadBalanc
python手記(四):pillow(五)最後一篇:過濾器,截圖。
人生不易且無趣,一起找點樂子吧。歡迎評論,和文章無關也可以。 這篇就當pillow的最後一篇好了,後面的模組沒有前面的有趣,主要是一些細節上的處理,例如圖片的文字啊,文字的型別啊。 無非就是告訴你很多東西都可以自定義,建立你自己的個性
Node.js從入門到實戰(六)React一頁紙總結(很大的一頁紙)
一、React React是一個JavaScript庫,是由FaceBook和Instagram開發的,主要用於使用者建立圖形化介面。 由於 React 的設計思想極其獨特,屬於革命性創新,效能出眾,程式碼邏輯卻非常簡單。所以,越來越多的人開始關注和使用,認為它可能是
Node.js從入門到實戰(五)ECMAScript6一頁紙總結(很大的一頁紙)
一、ES5/ES6和babel ECMAScript5,即ES5,是ECMAScript的第五次修訂,於2009年完成標準化,現在的瀏覽器已經相當於完全實現了這個標準。 ECMAScript6,即ES6,也稱ES2015,是ECMAScript的第六次修訂,於2015
肖星老師《一本書讀懂財報》經典語句摘錄(下)實戰篇
1.都有哪些財務分析的方法呢?同型分析恐怕是最常用的。這是一種結構分析。各個專案在利潤表中分別佔比多少就是利潤表的結構;從收入到利潤的過程中,每一個步驟都損耗了多少,這就是對利潤表進行同型分析的成果。對資產負債表,同樣可以做這樣一個分析。資產負債表詳細列明瞭各個專案在企業資金總量中所佔的比重,這就是資產負債表
開源物聯網框架ServerSuperIO 3.0正式釋出(C#),跨平臺:Win&Win10 Iot&Ubuntu&Ubuntu Mate,一套裝置驅動跨平臺掛載,附:開發套件和教程。
3.0版本主要更新內容: 1.增加跨平臺能力:Win&Win10 Iot&Ubuntu&Ubuntu Mate 2.統一裝置驅動介面:可以一套裝置驅動,跨平臺掛載執行,降低人力成本,提高開發效率。 3.增加二次開發套件:支援控制檯和UI介面兩種方式。 4.增加配置工具:
hadoop叢集搭建(一):系統安裝(centos7+vmware12)
叢集作業系統安裝(centos7+vmware12) 環境說明 作業系統 CentOS-7-x86_64-DVD-1611下載地址:官網 虛擬機器 VMware Workstat
ElasticSearch搜尋引擎(一:es安裝及增刪改)
ElasticSearch下載地址:https://www.elastic.co/cn/downloads/elasticsearch es是一個使用java編寫的開源專案,所以需要jdk環境支援(且jdk版本須在1.8以上),安裝方式簡單粗暴,通過上方地址下載完壓縮包後直接解壓,進入bin目錄
剛哥遇到了感情問題(二) 時間限制:1000 ms | 記憶體限制:65535 KB 難度:1 描述 上一集我們講到 作為工作室老大的剛哥遇到很多女生的追求,你幫他個挑選了個英語成績不錯的物件。在你
# include <stdio.h> # define N 201 char A[][7]={"apple","banana","orange"}; //A->B char B[][5]={"miss","love","kiss"}; int S[]=
實驗報告:(1)合理定義一個三角形類Triangle,成員屬性包括3條邊,能否構成三角形的標誌;成員方法包括構造方法、修改3條邊、計算面積。 (2)寫一測試類,測試自定義三角形類Triangle是否正
(1)合理定義一個三角形類Triangle,成員屬性包括3條邊,能否構成三角形的標誌;成員方法包括構造方法、修改3條邊、計算面積。(2)寫一測試類,測試自定義三角形類Triangle是否正確。class Triangle_D{ private double f_edge;
kettle教程(1) 簡單入門、kettle簡單插入與更新。開啟kettle
本文要點:Kettle的建立資料庫連線、使用kettle進行簡單的全量對比插入更新:kettle會自動對比使用者設定的對比欄位,若目標表不存在該欄位,則新插入該條記錄。若存在,則更新。 Kettle簡介:Kettle是一款國外開源的ETL工具,純java編寫,可以在