1. 程式人生 > 其它 >【ODI】| 資料ETL:從零開始使用Oracle ODI完成資料整合(一)

【ODI】| 資料ETL:從零開始使用Oracle ODI完成資料整合(一)

目錄


回到頂部

0. 環境說明及軟體準備

ODI(Oracle Data Integrator)是Oracle公司提供的一種資料整合工具,能高效地實現批量資料的抽取、轉換和載入。ODI可以實現當今大多數的主流關係型資料庫(Oracle、DB2、SQL Server、MySQL、SyBase)的整合。

ODI提供了圖形化客戶端和agent(代理)執行程式。客戶端軟體主要用於對整個資料整合服務的設計,包括建立對資料來源的連線架構、建立模型及反向表結構、建立介面、生成方案和計劃等。Agent執行程式是通過命令列方式在ODI伺服器上啟動的服務,對agent下的執行計劃週期性地執行。

任何資料驅動的整合,都可以使用ODI, ODI的常見應用場景:

  1. 資料倉庫:比如ETL階段。

  2. 資料遷移:比如將某一源系統的資料遷移到新系統中。

  3. 資料整合:比如兩個系統間高效的點到點資料傳遞。

  4. 資料複製:比如將一個Instance的資料複製另外一個Instance中。

閒言少敘,進入正題。首先,ODI是Oracle的資料整合工具,需要安裝Oracle資料庫,可以從Oracle官網下載安裝,先要在官網上註冊一個賬號,找到下載頁,最好把下面的client(客戶端)也一併安裝了吧,我安裝的是Oracle11g win64位的,官網下載頁如下:

安裝過程比較簡單,只是中間需要設定管理口令,記住就行。ODI也同樣在Oracle的官網上下載。

將下載的ODI安裝檔案解壓,就會包含兩個資料夾,注意不同版本的安裝,執行方式是不同的,我裝的32位的ODI,需要執行Disk1\install\win32下的安裝程式setup.exe。如下:

執行安裝程式,直接下一步,步驟2選【跳過軟體更新】;

步驟3選擇安裝型別,勾選一下即可;

步驟6選【跳過資料檔案庫配置】;

步驟7指定代理

下一步,直至安裝完成。也可自行下載安裝PL/SQL Developer,可以方便連線和管理資料庫,當然這不是必須的,可用其它工具代替。全部安裝完成後如下:

回到頂部

1. 建立資料庫使用者

在Oracle資料庫中為ODI的資料庫建立使用者,ODI的資料庫分為主資料庫和工作資料庫。資料庫所產生的資料就是存放在Oracle資料庫中的。

主資料庫儲存所有IT資源的Topology,儲存專案和資料模型的安全資訊、版本資訊,供ODI圖形模組等使用。

工作資料庫儲存專案和資料模型,供ODI圖形模組等使用。

工作資料庫需要連線到一個主資料庫,為了邏輯清晰,我建立兩個Oracle使用者,分別存放主資料庫和工作資料庫的資料。

開啟pl/sql,以管理員身份登陸到Oracle資料庫。

【檔案】>>【新建】>>【SQL視窗】>>輸入建立使用者的SQL語句>>【執行】

工作資料庫使用者的建立方式和主資料庫一樣,SQL語句如下:

1 CREATE USER J_ODI_ZLK    --主資料庫使用者名稱 
2 IDENTIFIED BY zlk123      --密碼  
3 DEFAULT TABLESPACE USERS;   --預設表空間  
4 GRANT CONNECT,RESOURCE TO  J_ODI_ZLK;--授權使用者
6 CREATE USER J_ODI_GZK    --工作資料庫使用者名稱 
7 IDENTIFIED BY gzk123      --密碼  
8 DEFAULT TABLESPACE USERS;   --預設表空間  
9 GRANT CONNECT,RESOURCE TO  J_ODI_GZK;--授權使用者
回到頂部

2. 建立主資料庫

在Oracle中建立完使用者後,就可以在ODI中建立主資料庫。首先在開始選單中找到已安裝的ODI 並啟動。

【檔案】>>【新建】,開啟新建庫對話方塊,選擇【主資料檔案庫建立嚮導】>>【確定】。

進入資料庫連線視窗,在這裡需要填寫剛在Oracle資料庫中為主資料庫建立的使用者資訊以及Oracle資料庫的DBA使用者資訊。需注意的是JDBC URL項中localhost為Oracle資料庫的IP地址,我用的本地機器,就直接寫localhost;orcl為Oracle資料庫的例項名。資訊輸入完成後,點選一下測試連線,成功則可進入下一步。

這一步需要建立ODI超級使用者SUPERVISOR,在視窗中輸入密碼即可,該密碼要記住,後面會用到。

完成後ODI即開始建立主資料庫,稍等就會出現成功建立主資料庫的對話方塊。

主資料庫建立完成後,就可以在ODI中連線到剛建立的主資料庫了。點選ODI左側邊欄上方的【連線到資料檔案庫】,彈出登陸對話方塊,點選【登入名】後面的加號。

進入配置主資料庫的連線資訊,如下圖所示。

配置完成後點選【確定】即可進入主資料庫。

回到頂部

3. 建立工作資料庫

主資料庫完成後,並不能進行實質的開發工作,還需要建立一個工作資料庫,在工作資料庫中才可以進行工作。接上一環節,進入主資料庫後,點選左側邊欄上方的【拓撲】標籤,點選【資料檔案庫】,在【工作資料檔案庫】上單擊滑鼠右鍵,選擇【新建工作資料檔案庫】。

進入工作資料庫的連線配置,配置完成點選【下一步】。

進入配置工作資料庫的名稱以及密碼。輸入後點擊【完成】即可。工作資料庫建立成功後,系統會彈出【是否為工作資料檔案庫建立登入】對話方塊,提示是否為該工作資料庫建立登入名,可以選擇【否】,一會在連線工作資料庫時在建立也是一樣。

工作資料庫建立完成後,就可以在ODI中連線到剛建立的工作資料庫了。在連線之前,先要斷開已經連線的主資料庫,【ODI】>>【斷開連線”J_ZLK”】。

斷開主資料庫的連線後,再點選ODI左側邊欄上方的【連線到資料檔案庫】,彈出登陸對話方塊,點選【登入名】後面的加號。

進入建立工作資料庫的連線配置視窗,如下圖所示。

配置完成,點選【確定】即可登陸到工作資料庫,就可以開始work了。

至此,前期的基本配置工作已經完成了,後面就可以正式開始建立具體的資料整合方案了。

回到頂部

4. 工作場景說明

    【ODI】| 資料ETL:從零開始使用Oracle ODI完成資料整合(二)

回到頂部

5. 建立物理體系結構

    【ODI】| 資料ETL:從零開始使用Oracle ODI完成資料整合(二)

回到頂部

6. 建立邏輯體系結構

    【ODI】| 資料ETL:從零開始使用Oracle ODI完成資料整合(二)

回到頂部

7. 建立模型

    【ODI】| 資料ETL:從零開始使用Oracle ODI完成資料整合(二)

回到頂部

8. 建立專案及介面

    【ODI】| 資料ETL:從零開始使用Oracle ODI完成資料整合(三)

回到頂部

9. 執行介面

    【ODI】| 資料ETL:從零開始使用Oracle ODI完成資料整合(三)