Loading Data From Oracle To Hive By ODI 12c
阿新 • • 發佈:2018-03-19
ODI Oracle Hive 本文描述如何通過ODI將Oracle表數據同步到Hive。
1、準備工作
在hadoop集群的各個節點分別安裝Oracle Big Data Connectors,具體的組件如下圖所示:
這裏只需安裝Oracle Loader For Hadoop(oraloader)以及Oracle SQL Connector for Hadoop Distributed File System (oraosch)兩個軟件。安裝比較簡單,直接解壓即可使用(這裏的ODI、oraosch以及oraloader組件都是以oracle用戶身份安裝的。)
2、創建目標表
在Hive上創建目標表,如下:
1、準備工作
在hadoop集群的各個節點分別安裝Oracle Big Data Connectors,具體的組件如下圖所示:
這裏只需安裝Oracle Loader For Hadoop(oraloader)以及Oracle SQL Connector for Hadoop Distributed File System (oraosch)兩個軟件。安裝比較簡單,直接解壓即可使用(這裏的ODI、oraosch以及oraloader組件都是以oracle用戶身份安裝的。)
2、創建目標表
在Hive上創建目標表,如下:
CREATE TABLE `RHNPACKAGE2`( `id` bigint, `org_id` bigint, `name_id` bigint, `evr_id` bigint, `package_arch_id` bigint, `package_group` bigint, `rpm_version` string, `description` string, `summary` string, `package_size` bigint, `payload_size` bigint, `installed_size` bigint, `build_host` string, `build_time` timestamp, `source_rpm_id` bigint, `checksum_id` bigint, `vendor` string, `payload_format` string, `compat` bigint, `path` string, `header_sig` string, `copyright` string, `cookie` string, `last_modified` timestamp, `created` timestamp, `header_start` bigint, `header_end` bigint, `modified` timestamp);
3、創建映射
之前已經創建好oracle和hive模型,這裏直接使用其創建映射。如下圖所示:
Integration Type設置屬性:
連接設置屬性:
過濾設置屬性:
LKM設置屬性:
IKM設置屬性:
如果設置TRUNCATE的值為True,每次導入之前,會把表裏的數據清空再導入,默認為false。
4、執行映射
結果如下圖:
Loading Data From Oracle To Hive By ODI 12c