1. 程式人生 > >Loading Data Into Hive From File By ODI 12c

Loading Data Into Hive From File By ODI 12c

Hive ODI

本文介紹如何將文本文件中的數據通過ODI導入Hive數據倉庫。

一、Hive上創建目標表

1.1 源表定義

CREATE TABLE EXAM_SCORE
(
  ID            NUMBER(4),
  AREA_ID       NUMBER(1),
  EXAM_INFO_ID  NUMBER(3),
  STU_SEQUENCE  NUMBER(12),
  SCORE         NUMBER(3),
  SUBJECT_ID    NUMBER(3),
  CLASS_ID      NUMBER(6)
)

1.2 目標表定義

CREATE TABLE hivedb.exam_score
(
  ID            string,
  AREA_ID       string,
  EXAM_INFO_ID  string,
  STU_SEQUENCE  string,
  SCORE         string,
  SUBJECT_ID    string,
  CLASS_ID      string
);

二、構造映射關系

2.1 新建Hive模型

如下圖所示,輸入相關參數後,先保存,然後點擊“Reverse Engineer”,同步表結構。
技術分享圖片

2.2 新建File模型

Definition選項欄:
技術分享圖片
Files選項欄:
技術分享圖片
Attributes選項欄:
技術分享圖片

2.3 創建映射關系圖

拖動文件模型和hive模型,組成下圖中的映射關系:
技術分享圖片
其中,LKM選擇“LKM File to Hive LOAD DATA.GLOBAL”,如果文件在本地,則設置“FILE_IS_LOCAL”的值為“True”,如下圖:
技術分享圖片
其中、IKM選擇“IKM Hive Incremental Update.GLOBAL”,如果要清空表中現有數據,則設置TRUNCATE的值為True即可,如下圖:

技術分享圖片
最後保存所有更改。

2.4 執行映射

技術分享圖片
執行結果如下圖:
技術分享圖片

Loading Data Into Hive From File By ODI 12c