1. 程式人生 > >SPOON使用簡述(ETL)---加班get到新技能

SPOON使用簡述(ETL)---加班get到新技能

-----------------簡單理解--------------其實是百度的-----------------------

ETL,是英文 Extract-Transform-Load 的縮寫,用來描述將資料從來源端經過抽取(extract)、轉換(transform)、載入(load)至目的端的過程。ETL一詞較常用在資料倉庫,但其物件並不限於資料倉庫

ETL包含了三方面: 
抽取:將資料從各種原始的業務系統中讀取出來,這是所有工作的前提。 
轉換:按照預先設計好的規則將抽取得資料進行轉換,使本來異構的資料格式能統一起來。 
裝載:將轉換完的資料按計劃增量或全部匯入到資料倉庫中。

-----------------------簡單的操作方式----------------SHIFT哥講了1h------------很有耐心------加班時候get到的新技能-----

(1)SPOON解壓就能夠使用

(2)解壓後,

  • Spoon.bat:在windows 平臺執行Spoon。
  • Spoon.sh:在 Linux、Apple OSX、Solaris 平臺執行 Spoon。
(3)連線資料庫,初始資料庫,目標資料庫

(4)有時候執行不上,在lib資料夾中新增,orail18n.jar、ojdbc6.jar

(5)輸入、輸出

(6)分別連線輸入、輸出的資料庫,表

  雙擊資料庫,填資訊,可以測試是否連線,可以確定

(7)直接從左邊拖圖示到右邊作業中,詳細解析

網址:http://wenku.baidu.com/link?url=1AfKapKbPGJVCHXHVz9A-eWfz3EjYNPZgFUYA-hEeRlxBO1kdSu8dZBcxYjLrm_mUYZOE4O19JyTiE4oalxqEQlcuOM40v4iMYnT02xeZza

其實很多功能用不到,自己也沒有真正試過,,,有興趣可以研究下


表輸入、輸出,直接拖動到作業,點選編輯,輸入:

輸出:

輸出對映:

(8)連線 shift 拖動滑鼠


(9)沒啥問題就開始轉換吧。。。。從A錶轉換為B表。。。。


-------------------------比較常使用的-----------------------------------

(1)資料庫查詢

,說實話,自己都不太會用,一般情況是,查詢不同表的內容

相當於根據表C的id查name,插到B當中,A當中只有id沒有name 


(2)轉換-值對映,資料字典一一對應

雙擊,

(這個問題犯過幾個錯,其實A-B的錶轉換當中,可以插入很多個值對映)

例如:


-------------折騰了幾個小時的問題---------------

遇到SPOON錯誤,無法儲存,或者一開啟便顯示問題

解決辦法:到(~/.kettle/shared.xml)

檔案目錄下,刪除(~/.kettle/shared.xml)檔案,重啟SPOON

附上網址:http://forums.pentaho.com/showthread.php?93473-Unexpected-problem-reading-shared-objects-from-XML-file-null

----------------提交GIT沒提交上去--------最後才發現------資料夾沒進去--------------------------------------------

可以先檢視 git status 檢視當前git狀態

在Git需要上傳的檔案當中,(注意:需要進到需要上傳的資料夾內)

提交Git的bush    ①git add -A(上傳全部檔案) 

                                         ②git commit -am(表示提交全部檔案)

                                         ③git pull origin master (master為所在分支對應的master)

                                         ④git push origin master(master為所在分支對應的master)

相關推薦

SPOON使用簡述ETL---加班get技能

-----------------簡單理解--------------其實是百度的----------------------- ETL,是英文 Extract-Transform-Load 的縮寫,用來描述將資料從來源端經過抽取(extract)、轉換(transf

Unity5.0特性------動畫功能

節點 拖動 eve 定義 -a ret del trees nts ??unity 5.0 中的新動畫功能這裏是你能夠期待的新動畫功能高速概述 !State Machine Behaviours狀態機行為在Unity 5 中,你會能夠將StateMachineBehavi

MSSQLsp_refreshview刷視圖失敗及更新Table字段失敗的問題解決

flow table logs name 由於 嘗試 stack views .com 在近期工作中遇到一個任務,需要批量更改散布在很多Table中的某字段,同時刷新相關視圖,但是在執行腳本時,發現了如下問題 更新字段問題 消息 5074,級別 16,狀態 1,第 1 行

Kettle進行數據遷移ETL

遷移數據 rom 原因分析 pre jdb 總結 界面 shift regex  由於開發新的系統,需要將之前一個老的C/S應用的數據按照新的數據設計導入到新庫中。此過程可能涉及到表結構不一致、大數據量(千萬級,甚至上億)等情況,包括異構數據的抽取、清洗等等工作。部分復雜的

Python 爬蟲實例7—— 爬取 浪軍事新聞

secure host agen cat hand .com cati ica sts 我們打開新浪新聞,看到頁面如下,首先去爬取一級 url,圖片中藍色圓圈部分 第二zh張圖片,顯示需要分頁,

TypeScript入門——函數特性

轉化 index 例子 一半 func ets mat 方便 strong 一、TypeScript-Rest and Spread操作符 用來聲明任意數量的方法參數 ...args中的...就是Rest and Spread操作符。 例1: 聲明一個可以傳任意

Web Service 部分內容簡述1

DC 感受 名詞解釋 其他 通訊 封裝 對象 sax 基於web 1、什麽是Web服務(web service)   Wb服務是一種可以用來解決跨網絡應用集成問題的開發模式,是基於網絡的、分布式的模塊化組件,它執行特定的任務遵守具體的技術規範,這些規範使得Web Ser

蛙泳初學簡述

應付 star 學習 這一 恐懼感 第一個 簡單 感謝 AR 本文寫寫博主的生活瑣事----記個學蛙泳的過程 [目前已經跟隨專業教練六節課程,蛙泳的動作學的還並不標準,但是25米的泳道已經可以一次性來回遊兩圈。 很多初學者不太敢下水,下水後也不敢放開,總是感覺會在水中沒有安

python 學習彙總31:doctest - 文件測試簡述 tcy

doctest - 文件測試: 2018/11/15   用途: 掃描模組並驗證程式文件中嵌入的測試。主要用來測試函式(在文件中) 測試的結構就像將一個典型的呼叫和結果切入並貼上到文件字串一樣簡單。 使用方式: 是嵌入到python源中 放到一個獨立檔案  

學習筆記之使用LNMP安裝DISCUZ論壇系統簡述

① 首先使用yum install -y apr* autoconf automake bison bzip2 bzip2* compat* cpp curl curl-devel fontconfig fontconfig-devel freetype f

學習筆記之使用LNMP安裝DISCUZ論壇系統簡述

① 在正式安裝 Nginx 服務程式之前,先安裝pcre # tar xzvf pcre-8.35.tar.gz # cd pcre-8.35 # ./configure --prefix=/usr/local/pcre # make & make in

學習筆記之使用LNMP安裝DISCUZ論壇系統簡述

安裝過程參考劉遄老師的《LINUX 就該這麼學》 配置 PHP 服務 yasm 原始碼包是一款常見的開源彙編器,其解壓、編譯、安裝過程 # tar zxvf yasm-1.2.0.tar.gz # cd yasm-1.2.0 # ./configure # ma

【Java原始碼】ArrayList原始碼關於get方法的遺留問題

 問題重現   在ArrayList原始碼的get方法中,傳參為負的異常是如何產生的?   原始碼只判斷了index > size public E get(int index) { rangeCheck(index); r

caffe的python介面學習6:用訓練好的模型caffemodel來分類的圖片

#coding=utf-8import caffeimport numpy as nproot='/home/xxx/' #根目錄deploy=root + 'mnist/deploy.prototxt' #deploy檔案caffe_model=root + 'mnist/lenet_iter

React Native在window下的環境搭建:建立專案

React Native建立一個新專案: react-native init TestAndroidApp提示:你可以使用--version引數(注意是兩個槓)建立指定版本的專案。例如react-native init TestAndroidApp --version 0.44.3。注意版本號必須精確

文字分類0——scrapy爬浪滾動新聞

這基本上就是一個從入門到差點放棄的故事。。程式碼在最下面 頁面的選擇 這門課需要100萬的中文語料來做文字分類,所以還要自己爬一些。 Problem 1 xPath沒有獲取到任何東西,看了下網頁的原

usb描述符簡述

title: usb描述符簡述 tags: linux date: 2018/12/18/ 18:25:23 toc: true --- usb描述符簡述 轉載自cnblog 具體描述符 https://blog.csdn.net/hushiganghu/article/details/549290

NDK-JNI實戰教程再談工具及NDK開發除錯

1 背景 時隔一年,多了些磨礪,懂了些故事,悟出些道理,但這一年技術卻停留在了原地,以前的 Unix 高階 C 在現在公司暫時無用武之地了,說句實話,打心裡我還是喜歡硬體和 C 語言,只是可惜了。有很多人私信想讓 NDK 系列文章持續下去,所以就順帶作為自己對

Kubernetesk8sv1.7特性 新增StorageOS卷外掛與Local持久儲存_Kubernetes中文社群

背景介紹 在Kubernetes中卷的作用在於提供給POD儲存,這些儲存可以掛載到POD中的容器上,進而給容器提供儲存。 從圖中可以看到結構體PodSpec有個屬性是Volumes,通過這個Volumes屬性可以關聯到結構體Volume和結構體VolumeSource,而且這個Volumes

QT5學習::c++ get與set方法的巨集定義實現

c++ get與set方法的巨集定義實現 轉自:https://blog.csdn.net/Scythe666/article/details/48846761 一、文章來由 專案中需要用到 get 和 set 方法,但是問題來了,因為是 c++ 的,並不像 java 的 ecl