Loading Data Into Hive From File By ODI 12c
阿新 • • 發佈:2018-03-16
Hive ODI 本文介紹如何將文本文件中的數據通過ODI導入Hive數據倉庫。
最後保存所有更改。
一、Hive上創建目標表
1.1 源表定義
CREATE TABLE EXAM_SCORE
(
ID NUMBER(4),
AREA_ID NUMBER(1),
EXAM_INFO_ID NUMBER(3),
STU_SEQUENCE NUMBER(12),
SCORE NUMBER(3),
SUBJECT_ID NUMBER(3),
CLASS_ID NUMBER(6)
)
1.2 目標表定義
CREATE TABLE hivedb.exam_score ( ID string, AREA_ID string, EXAM_INFO_ID string, STU_SEQUENCE string, SCORE string, SUBJECT_ID string, CLASS_ID string );
二、構造映射關系
2.1 新建Hive模型
如下圖所示,輸入相關參數後,先保存,然後點擊“Reverse Engineer”,同步表結構。
2.2 新建File模型
Definition選項欄:
Files選項欄:
Attributes選項欄:
2.3 創建映射關系圖
拖動文件模型和hive模型,組成下圖中的映射關系:
其中,LKM選擇“LKM File to Hive LOAD DATA.GLOBAL”,如果文件在本地,則設置“FILE_IS_LOCAL”的值為“True”,如下圖:
其中、IKM選擇“IKM Hive Incremental Update.GLOBAL”,如果要清空表中現有數據,則設置TRUNCATE的值為True即可,如下圖:
最後保存所有更改。
2.4 執行映射
執行結果如下圖:
Loading Data Into Hive From File By ODI 12c