HIve中匯入、匯出資料的幾種方式
一、往HIVE表中匯入匯出資料
1.建表時直接匯入:
如果你的資料已經在HDFS上存在,已經為結構化資料,並且資料所在的HDFS路徑不需要維護,那麼可以直接在建表的時候使用location指定資料所在的HDFS路徑即可
CREATE [EXTERNAL] TABLE t_lxw1234 ( day STRING, url STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' stored as textfile location '/tmp/aaa.txt/';
2.使用load,語法結構: [ ]帶括號的表示可選擇欄位
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
各引數說明:
1 -hive只對匯入該表中的資料按照自己的方式 處理,對於錯誤的資料不管,超出直接丟棄。
2 - Load 操作只是單純的複製/移動操作,將資料檔案移動到 Hive 表對應的位置。 所以也可以直接hadoop fs -put ./1.txt /user/hive/warehouse/web_log.db/staff/ 將資料直接匯入到hive表對應的位置。hive對 匯入的資料沒有查錯的功能,只是按自己的表字段進行匹配,格式匹配不了的預設用Null替代, hive屬於讀時模式。
3 - LOCAL關鍵字, 如果指定了 LOCAL, load 命令會去查詢本地檔案系統中的 filepath。 如果沒有指定 LOCAL 關鍵字,則根據inpath中的uri查詢檔案
4 - OVERWRITE 關鍵字, 如果使用了 OVERWRITE 關鍵字,則目標表(或者分割槽)中的 內容會先被全部被刪除 ,然後再將 filepath 指向的檔案/目錄中的內容新增到表/分割槽中。 如果目標表(分割槽)已經有 一個檔案,並且檔名和 filepath 中的檔名衝突,那麼現有的檔案會被新檔案所替代。
詳細語法結構
1、本地匯入(本地匯入以後1.txt檔案本地還有備份的,且這裡是增量表插入(不覆蓋))
load data local inpath 'local_path/file' into table 表名稱 ; ex: load data local inpath ./1.txt into table staff;
2、HDFS匯入(匯入完以後hdfs上的1.txt檔案就不存在了,且這裡是增量表插入(不覆蓋))
load data inpath 'hdfs_path/file' into table 表名稱 ; ex: load data inpath '/user/jerry.txt' into table jerry; -- 不能少了單引號 load data inpath 'hdfs://hadoop102:8020/user/jerry.txt' into table jerry;
3,覆蓋匯入:本地檔案匯入,hdfs檔案匯入加了overwrite引數而已(原有資料會被清除掉 重新插入新資料)
1. load data local inpath 'path/file' overwrite into table 表名稱 ; -- 從Linux本地系統匯入 ex: load data local inpath ./1.txt ovewrite into table staff; 2.load data inpath 'path/file' overwrite into table 表名稱 ; -- 從hdfs上匯入 ex:load data inpath '/user/jerry.txt' overwrite into table jerry;
4、查詢匯入(其實就是建立新表)
create table track_log_bak as select * from db_web_data.track_log;
5、insert查詢結果插入hive中(insert匯入必須基於別的表查詢匯入的)將查詢結果插入Hive表
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)]
select_statement1 FROM from_statement
覆蓋-overwrite-顯示指定-使用頻率高
追加-append-預設方式 (用into)
ex: insert into table staff (這裡沒有as) select * from track_log;
ex: insert overwrite table staff2 select id,name from staff where id<100;
二、從Hive表匯出資料方式(也是查詢方式匯出,跟匯入區別insert後面一個是table,一個是directory)
1、hive中資料匯出到本地
標準語法 :
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 SELECT ... FROM ... 例如:insert overwrite local directory "/home/admin/Desktop/1/2" row format delimited fields terminated by '\t' select * from db_hive_demo.emp ;(row 這一行可以不加)
注意:會遞迴建立目錄,一定要選擇資料夾,否則會覆蓋目錄,造成資料丟失
2、insert查詢結果匯出到HDFS
insert overwrite directory 'hdfs://hadoop102:8020/user/hive/warehouse/emp2/emp2' select * from emp where empno >7800;
3、Bash shell覆蓋追加匯出
$ bin/hive -e "select * from staff;" > /home/z/backup.log