2. 程式人生 > 實用技巧 >Hive的基本使用與匯入匯出資料

Hive的基本使用與匯入匯出資料

阿新 • • 發佈：2020-10-21

Hive的資料匯入匯出

  • 從本地檔案系統中匯入資料到Hive表；

  • 從HDFS上匯入資料到Hive表；

  • 從別的表中查詢出相應的資料並匯入到Hive表中；

  • 在建立表的時候通過從別的表中查詢出相應的記錄並插入到所建立的表中。

1、從本地檔案系統中匯入資料到Hive表先在Hive裡面建立好表

如下：

  1. hive>create table wyp(idint,namestring,ageint,telstring)ROW FORMAT DELIMITED FIELDS TERMINATED BY'\t'STORED AS TEXTFILE;

這個表很簡單，只有四個欄位，具體含義我就不解釋了。本地檔案系統裡面有個/home/wyp/wyp.txt檔案，內容如下：

[[email protected]~]$ cat wyp.txt

1wyp2513188888888888

2test3013888888888888

3zs34899314121

wyp.txt檔案中的資料列之間是使用\t分割的，可以通過下面的語句將這個檔案裡面的資料匯入到wyp表裡面，操作如下：

  1. hive>load datalocalinpath'wyp.txt'intotable wyp;

  2. Copyingdatafromfile:/home/wyp/wyp.txt

  3. Copyingfile:file:/home/wyp/wyp.txt

  4. Loadingdata to tabledefault.wyp

  5. Tabledefault.wyp stats:

  6. [num_partitions:0,num_files:1,num_rows:0,total_size:67]

  7. OK

  8. Timetaken:5.967seconds

這樣就將wyp.txt裡面的內容匯入到wyp表裡面去了，可以到wyp表的資料目錄下檢視，如下命令：

  1. hive>dfs-ls/user/hive/warehouse/wyp;

  2. Found1items

  3. -rw-r--r--3wyp supergroup672014-02-1918:23/hive/warehouse/wyp/wyp.txt

需要注意的是：

和我們熟悉的關係型資料庫不一樣，Hive現在還不支援在insert語句裡面直接給出一組記錄的文字形式，也就是說，Hive並不支援INSERT INTO …. VALUES形式的語句。

2、HDFS上匯入資料到Hive表

從本地檔案系統中將資料匯入到Hive表的過程中，其實是先將資料臨時複製到HDFS的一個目錄下（典型的情況是複製到上傳使用者的HDFS home目錄下,比如/home/wyp/），然後再將資料從那個臨時目錄下移動（注意，這裡說的是移動，不是複製！）到對應的Hive表的資料目錄裡面。

既然如此，那麼Hive肯定支援將資料直接從HDFS上的一個目錄移動到相應Hive表的資料目錄下，假設有下面這個檔案/home/wyp/add.txt，具體的操作如下：

  1. [[email protected]/home/q/hadoop-2.2.0]$ bin/hadoop fs-cat/home/wyp/add.txt

  2. 5wyp123131212121212

  3. 6wyp224134535353535

  4. 7wyp325132453535353

  5. 8wyp426154243434355

上面是需要插入資料的內容，這個檔案是存放在HDFS上/home/wyp目錄（和一中提到的不同，一中提到的檔案是存放在本地檔案系統上）裡面，我們可以通過下面的命令將這個檔案裡面的內容匯入到Hive表中，具體操作如下：

  1. hive>load data inpath'/home/wyp/add.txt'intotable wyp;

  2. Loadingdata to tabledefault.wyp

  3. Tabledefault.wyp stats:

  4. [num_partitions:0,num_files:2,num_rows:0,total_size:215]

  5. OK

  6. Timetaken:0.47seconds

  8. hive>select*fromwyp;

  9. OK

  10. 5wyp123131212121212

  11. 6wyp224134535353535

  12. 7wyp325132453535353

  13. 8wyp426154243434355

  14. 1wyp2513188888888888

  15. 2test3013888888888888

  16. 3zs34899314121

  17. Timetaken:0.096seconds,Fetched:7row(s)

從上面的執行結果我們可以看到，資料的確匯入到wyp表中了！請注意load data inpath ‘/home/wyp/add.txt’ into table wyp;裡面是沒有local這個單詞的，這個是和一中的區別。

3、從別的表中查詢出相應的資料並匯入到Hive表中

假設Hive中有test表，其建表語句如下所示：

  1. hive>create table test(

  2. >idint,namestring

  3. >,telstring)

  4. >partitionedby

  5. >(ageint)

  6. >ROW FORMAT DELIMITED

  7. >FIELDS TERMINATED BY'\t'

  8. >STORED AS TEXTFILE;

  9. OK

  10. Timetaken:0.261seconds

  11. 下面語句就是將wyp表中的查詢結果並插入到test表中：

  12. hive>insertintotable test

  13. >partition(age='25')

  14. >selectid,name,tel

  15. >fromwyp;

  16. #####################################################################

  17. 這裡輸出了一堆Mapreduce任務資訊，這裡省略

  18. #####################################################################

  19. TotalMapReduceCPUTimeSpent:1seconds310msec

  20. OK

  21. Timetaken:19.125seconds

  1. hive>select*fromtest;

  2. OK

  3. 5wyp113121212121225

  4. 6wyp213453535353525

  5. 7wyp313245353535325

  6. 8wyp415424343435525

  7. 1wyp1318888888888825

  8. 2test1388888888888825

  9. 3zs89931412125

  10. Timetaken:0.126seconds,Fetched:7row(s)

這裡做一下說明：我們知道我們傳統資料塊的形式insert into table values（欄位1，欄位2），這種形式hive是不支援的。

通過上面的輸出，我們可以看到從wyp表中查詢出來的東西已經成功插入到test表中去了！如果目標表（test）中不存在分割槽欄位，可以去掉partition (age=’25′)語句。當然，我們也可以在select語句裡面通過使用分割槽值來動態指明分割槽：

  1. hive>sethive.exec.dynamic.partition.mode=nonstrict;

  2. hive>insertintotable test

  3. >partition(age)

  4. >selectid,name,

  5. >tel,age

  6. >fromwyp;

  7. #####################################################################

  8. 這裡輸出了一堆Mapreduce任務資訊，這裡省略

  9. #####################################################################

  10. TotalMapReduceCPUTimeSpent:1seconds510msec

  11. OK

  12. Timetaken:17.712seconds

  13. hive>select*fromtest;

  14. OK

  15. 5wyp113121212121223

  16. 6wyp213453535353524

  17. 7wyp313245353535325

  18. 1wyp1318888888888825

  19. 8wyp415424343435526

  20. 2test1388888888888830

  21. 3zs89931412134

  22. Timetaken:0.399seconds,Fetched:7row(s)

這種方法叫做動態分割槽插入，但是Hive中預設是關閉的，所以在使用前需要先把hive.exec.dynamic.partition.mode設定為nonstrict。當然，Hive也支援insert overwrite方式來插入資料，從字面我們就可以看出，overwrite是覆蓋的意思，是的，執行完這條語句的時候，相應資料目錄下的資料將會被覆蓋！而insert into則不會，注意兩者之間的區別。例子如下：

  1. hive>insert overwrite table test

  2. >PARTITION(age)

  3. >selectid,name,tel,age

  4. >fromwyp;

  5. 更可喜的是，Hive還支援多表插入，什麼意思呢？在Hive中，我們可以把insert語句倒過來，把from放在最前面，它的執行效果和放在後面是一樣的，如下：

  6. hive>show create table test3;

  7. OK

  8. CREATE TABLE test3(

  9. idint,

  10. namestring)

  11. Timetaken:0.277seconds,Fetched:18row(s)

  12. hive>fromwyp

  13. >insertintotable test

  14. >partition(age)

  15. >selectid,name,tel,age

  16. >insertintotable test3

  17. >selectid,name

  18. >whereage>25;

  19. hive>select*fromtest3;

  20. OK

  21. 8wyp4

  22. 2test

  23. 3zs

  24. Timetaken:4.308seconds,Fetched:3row(s)

可以在同一個查詢中使用多個insert子句，這樣的好處是我們只需要掃描一遍源表就可以生成多個不相交的輸出。這個很酷吧！

4、在建立表的時候通過從別的表中查詢出相應的記錄並插入到所建立的表中

在實際情況中，表的輸出結果可能太多，不適於顯示在控制檯上，這時候，將Hive的查詢輸出結果直接存在一個新的表中是非常方便的，我們稱這種情況為CTAS（create table .. as select）如下：

  1. hive>create table test4

  2. >as

  3. >selectid,name,tel

  4. >fromwyp;

  5. hive>select*fromtest4;

  6. OK

  7. 5wyp1131212121212

  8. 6wyp2134535353535

  9. 7wyp3132453535353

  10. 8wyp4154243434355

  11. 1wyp13188888888888

  12. 2test13888888888888

  13. 3zs899314121

  14. Timetaken:0.089seconds,Fetched:7row(s)

資料就插入到test4表中去了，CTAS操作是原子的，因此如果select查詢由於某種原因而失敗，新表是不會建立的！

Hive資料的匯出

根據匯出的地方不一樣，將這些方式分為三種：

  • 匯出到本地檔案系統；

  • 匯出到HDFS中；

  • 匯出到Hive的另一個表中。

1、匯出到本地檔案系統

  1. hive>insert overwritelocaldirectory'/home/wyp/wyp'

  2. >select*fromwyp;

  3. 這條HQL的執行需要啟用Mapreduce完成，執行完這條語句之後，將會在本地檔案系統的/home/wyp/wyp目錄下生成檔案，這個檔案是Reduce產生的結果（這裡生成的檔名是000000_0），我們可以看看這個檔案的內容：

  4. [[email protected]~/wyp]$ vim000000_0

  5. 5^Awyp1^A23^A131212121212

  6. 6^Awyp2^A24^A134535353535

  7. 7^Awyp3^A25^A132453535353

  8. 8^Awyp4^A26^A154243434355

  9. 1^Awyp^A25^A13188888888888

  10. 2^Atest^A30^A13888888888888

  11. 3^Azs^A34^A899314121

  12. ```

  13. 可以看出，這就是wyp表中的所有資料。資料中的列與列之間的分隔符是^A(ascii碼是\00001)。

  14. 和匯入資料到Hive不一樣，不能用insert into來將資料匯出：

  15. ###2、匯出到HDFS中

  16. 和匯入資料到本地檔案系統一樣的簡單，可以用下面的語句實現：

hive> insert overwrite directory ‘/home/wyp/hdfs’

select * from wyp;```將會在HDFS的/home/wyp/hdfs目錄下儲存匯出來的資料。注意，和匯出檔案到本地檔案系統的HQL少一個local，資料的存放路徑就不一樣了。

相關推薦

Hive的基本使用與匯入匯出資料

Hive的資料匯入匯出 從本地檔案系統中匯入資料到Hive表；從HDFS上匯入資料到Hive表；從別的表中查詢出相應的資料並匯入到Hive表中；在建立表的時候通過從別的表中查詢出相應的記錄並插入到所建立的表中。

Oracle匯入匯出資料的幾種方式

oracle匯入匯出資料 1.匯出dmp格式檔案 --備份某幾張表！！！！ exp smsc/smsc file=/data/oracle_bak/dmp/bakup0209_2.dmp tables=\\(send_msg_his,send_msg,recv_msg_his,recv_msg\\)

Postgres copy命令匯入匯出資料

前言 最近有需要對資料進行遷移的需求，由於postgres效能的關係，單表3000W的資料量查詢起來有一些慢，需要對大表進行切割，拆成若干個子表，涉及到原有資料要遷移到子表的需求。起初的想法是使用儲存過程，使用sel

Maatwebsite / Laravel-Excel 擴充套件包匯入匯出資料

Maatwebsite / Laravel-Excel 擴充套件包匯入匯出資料 此文引用yangliuan（如有意見聯絡可以刪除）

常見SQL Server匯入匯出資料的幾個工具

在我們的日常工作中，與資料庫打交道的機會越來越多。這一篇文章我整理一下常見的SQL Server匯入匯出資料的幾個工具

MySQL 文字檔案的匯入匯出資料的方法

有時為了更快速地插入大批量資料或交換資料，需要從文字中匯入資料或匯出資料到文字。下面的具體的方法大家可以參考下。多測試。

redis 指定db庫匯入匯出資料

最近根據之前的專案重新改編一個新的專案，發現上一個專案的搭建者，把一些區域許可權和劃分放在redis上儲存，因此不得不照搬過來，所以搜尋一下相關如何做的

sqoop連線mysql資料庫匯入匯出資料Communications link failure錯誤解決

在將資料從hive存入mysql或者從hdfs存入mysql時出現瞭如下的錯誤： ERROR manager.CatalogQueryManager: Failed to list databasescom.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link f

SQLite 通過.sql檔案匯入匯出資料

(1)建立資料庫檔案 無需手動建立db檔案，直接在命令列執行： ~/test_sqlite$ sqlite3 test.db

PLSQL匯入/匯出資料方法--dmp檔案

轉：PLSQL匯入/匯出資料方法 以前導資料庫資訊的時候，總是會先開啟sql視窗，把自己手寫的建表文件複製進去，然後再匯入資料資訊。

sqoop用法之mysql與hive資料匯入匯出

目錄一. Sqoop介紹二. Mysql 資料匯入到 Hive三. Hive資料匯入到Mysql四. mysql資料增量匯入hive1. 基於遞增列Append匯入1). 建立hive表2). 建立job3). 執行job2. Lastmodified 匯入實戰1). 新建一張表2). 初始化hiv

淺析MySQL資料的匯出與匯入知識點

很多時候，我們會遇到需要將本機資料庫資料匯出或者其他資料庫資料的匯入操作，那麼究竟該如何操作呢？本文將介紹MySQL資料的匯出與匯入,下面以heidisql工具為例講解。

oracle資料與文字匯入匯出原始碼示例

oracle提供了sqlldr的工具，有時需要講資料匯入到文字，oracle的spool可以輕鬆實現。

Hive(四)【DML 資料匯入匯出】

目錄一.資料匯入1.1 【load】--向資料中裝載資料案例1.2 【insert】--查詢語句向表中插入資料案例1.3 【as select】--查詢語句中建立表且載入資料案例1.4 【location】--建立表指定location載入資料案例1.5 【import

3-1-5 MySQL基礎-事務機制與資料匯入匯出

事務機制 如果資料的寫入直接操作資料檔案是非常危險的事情,所以MySQL利用日誌來間接寫入.

MySQL 之 資料的匯出與匯入

1、MySQL匯出資料 (1)、使用 select ... into outfile 語句匯出資料 MySQL中你可以使用SELECT...INTO OUTFILE語句來簡單的匯出資料到文字檔案上。並且可以通過命令選項來設定資料輸出的指定格式。

mongoDB的基本操作以及資料的匯入匯出，備份和恢復

mongoDB的基本操作以及資料的匯入匯出，備份和恢復 基本概念與常用命令 為什麼我們要使用MongoDB？

SQL與Excel的資料匯入匯出

本篇內容來自https://jingyan.baidu.com/article/73c3ce28c839b7e50243d950.html   工具/原料   SQL Server 2005

HIve中匯入、匯出資料的幾種方式

一、往HIVE表中匯入匯出資料 　　1.建表時直接匯入： 　　如果你的資料已經在HDFS上存在，已經為結構化資料，並且資料所在的HDFS路徑不需要維護，那麼可以直接在建表的時候使用location指定資料所在的HDFS路徑即可

Linux下mysql資料庫的建立匯入匯出 及一些基本指令

首先linux 下檢視mysql相關目錄 檢視 mysql 的安裝路徑 執行查詢 SQL mysql>show variables like \'%dir%\';