2. 程式人生 > >Hive 之 寫入資料的方式

Hive 之 寫入資料的方式

阿新 • • 發佈：2019-01-09

轉子：http://blog.csdn.net/lifuxiangcaohui/article/details/40588929

Hive的幾種常見的資料匯入方式
這裡介紹四種：
（1）、從本地檔案系統中匯入資料到Hive表；
（2）、從HDFS上匯入資料到Hive表；
（3）、從別的表中查詢出相應的資料並匯入到Hive表中；
（4）、在建立表的時候通過從別的表中查詢出相應的記錄並插入到所建立的表中。


一、從本地檔案系統中匯入資料到Hive表

先在Hive裡面建立好表，如下：
  1. hive> create table wyp
  2.     > (id int, name string,
  3.     > age int, tel string)
  4.     > ROW FORMAT DELIMITED
  5.     > FIELDS TERMINATED BY '\t'
  6.     > STORED AS TEXTFILE;
  7. OK
  8. Time taken: 2.832 seconds
複製程式碼
這個表很簡單，只有四個欄位，具體含義我就不解釋了。本地檔案系統裡面有個/home/wyp/wyp.txt檔案，內容如下：
  1. [[email protected] ~]$ cat wyp.txt
  2. 1       wyp     25      13188888888888
  3. 2       test    30      13888888888888
  4. 3       zs      34      899314121
複製程式碼
wyp.txt檔案中的資料列之間是使用\t分割的，可以通過下面的語句將這個檔案裡面的資料匯入到wyp表裡面，操作如下：
  1. hive> load data local inpath 'wyp.txt' into table wyp;
  2. Copying data from file:/home/wyp/wyp.txt
  3. Copying file: file:/home/wyp/wyp.txt
  4. Loading data to table default.wyp
  5. Table default.wyp stats:
  6. [num_partitions: 0, num_files: 1, num_rows: 0, total_size: 67]
  7. OK
  8. Time taken: 5.967 seconds
複製程式碼
這樣就將wyp.txt裡面的內容匯入到wyp表裡面去了，可以到wyp表的資料目錄下檢視，如下命令：

  1. hive> dfs -ls /user/hive/warehouse/wyp ;
  2. Found 1 items
  3. -rw-r--r--3 wyp supergroup 67 2014-02-19 18:23 /hive/warehouse/wyp/wyp.txt
複製程式碼
需要注意的是：

和我們熟悉的關係型資料庫不一樣，Hive現在還不支援在insert語句裡面直接給出一組記錄的文字形式，也就是說，Hive並不支援INSERT INTO …. VALUES形式的語句。

二、HDFS上匯入資料到Hive表

　　從本地檔案系統中將資料匯入到Hive表的過程中，其實是先將資料臨時複製到HDFS的一個目錄下（典型的情況是複製到上傳使用者的HDFS home目錄下,比如/home/wyp/），然後再將資料從那個臨時目錄下移動（注意，這裡說的是移動，不是複製！）到對應的Hive表的資料目錄裡面。既然如此，那麼Hive肯定支援將資料直接從HDFS上的一個目錄移動到相應Hive表的資料目錄下，假設有下面這個檔案/home/wyp/add.txt，具體的操作如下：
  1. [[email protected] /home/q/hadoop-2.2.0]$ bin/hadoop fs -cat /home/wyp/add.txt
  2. 5       wyp1    23      131212121212
  3. 6       wyp2    24      134535353535
  4. 7       wyp3    25      132453535353
  5. 8       wyp4    26      154243434355
複製程式碼
上面是需要插入資料的內容，這個檔案是存放在HDFS上/home/wyp目錄（和一中提到的不同，一中提到的檔案是存放在本地檔案系統上）裡面，我們可以通過下面的命令將這個檔案裡面的內容匯入到Hive表中，具體操作如下：

  1. hive> load data inpath '/home/wyp/add.txt' into table wyp;
  2. Loading data to table default.wyp
  3. Table default.wyp stats:
  4. [num_partitions: 0, num_files: 2, num_rows: 0, total_size: 215]
  5. OK
  6. Time taken: 0.47 seconds
  7. hive> select * from wyp;
  8. OK
  9. 5       wyp1    23      131212121212
  10. 6       wyp2    24      134535353535
  11. 7       wyp3    25      132453535353
  12. 8       wyp4    26      154243434355
  13. 1       wyp     25      13188888888888
  14. 2       test    30      13888888888888
  15. 3       zs      34      899314121
  16. Time taken: 0.096 seconds, Fetched: 7 row(s)
複製程式碼
從上面的執行結果我們可以看到，資料的確匯入到wyp表中了！請注意load data inpath ‘/home/wyp/add.txt’ into table wyp;裡面是沒有local這個單詞的，這個是和一中的區別。

三、從別的表中查詢出相應的資料並匯入到Hive表中

假設Hive中有test表，其建表語句如下所示：

  1. hive> create table test(
  2.     > id int, name string
  3.     > ,tel string)
  4.     > partitioned by
  5.     > (age int)
  6.     > ROW FORMAT DELIMITED
  7.     > FIELDS TERMINATED BY '\t'
  8.     > STORED AS TEXTFILE;
  9. OK
  10. Time taken: 0.261 seconds
複製程式碼
大體和wyp表的建表語句類似，只不過test表裡面用age作為了分割槽欄位。對於分割槽，這裡在做解釋一下：
分割槽：在Hive中，表的每一個分割槽對應表下的相應目錄，所有分割槽的資料都是儲存在對應的目錄中。比如wyp表有dt和city兩個分割槽，則對應dt=20131218,city=BJ對應表的目錄為/user/hive/warehouse/dt=20131218/city=BJ，所有屬於這個分割槽的資料都存放在這個目錄中。

下面語句就是將wyp表中的查詢結果並插入到test表中：
  1. hive> insert into table test
  2.     > partition (age='25')
  3.     > select id, name, tel
  4.     > from wyp;
  5. #####################################################################
  6.            這裡輸出了一堆Mapreduce任務資訊，這裡省略
  7. #####################################################################
  8. Total MapReduce CPU Time Spent: 1 seconds 310 msec
  9. OK
  10. Time taken: 19.125 seconds
  11. hive> select * from test;
  12. OK
  13. 5       wyp1    131212121212    25
  14. 6       wyp2    134535353535    25
  15. 7       wyp3    132453535353    25
  16. 8       wyp4    154243434355    25
  17. 1       wyp     13188888888888  25
  18. 2       test    13888888888888  25
  19. 3       zs      899314121       25
  20. Time taken: 0.126 seconds, Fetched: 7 row(s)
複製程式碼
這裡做一下說明：
我們知道我們傳統資料塊的形式insert into table values（欄位1，欄位2），這種形式hive是不支援的。

通過上面的輸出，我們可以看到從wyp表中查詢出來的東西已經成功插入到test表中去了！如果目標表（test）中不存在分割槽欄位，可以去掉partition (age=’25′)語句。當然，我們也可以在select語句裡面通過使用分割槽值來動態指明分割槽：
  1. hive> set hive.exec.dynamic.partition.mode=nonstrict;
  2. hive> insert into table test
  3.     > partition (age)
  4.     > select id, name,
  5.     > tel, age
  6.     > from wyp;
  7. #####################################################################
  8.            這裡輸出了一堆Mapreduce任務資訊，這裡省略
  9. #####################################################################
  10. Total MapReduce CPU Time Spent: 1 seconds 510 msec
  11. OK
  12. Time taken: 17.712 seconds
  13. hive> select * from test;
  14. OK
  15. 5       wyp1    131212121212    23
  16. 6       wyp2    134535353535    24
  17. 7       wyp3    132453535353    25
  18. 1       wyp     13188888888888  25
  19. 8       wyp4    154243434355    26
  20. 2       test    13888888888888  30
  21. 3       zs      899314121       34
  22. Time taken: 0.399 seconds, Fetched: 7 row(s)
複製程式碼
這種方法叫做動態分割槽插入，但是Hive中預設是關閉的，所以在使用前需要先把hive.exec.dynamic.partition.mode設定為nonstrict。當然，Hive也支援insert overwrite方式來插入資料，從字面我們就可以看出，overwrite是覆蓋的意思，是的，執行完這條語句的時候，相應資料目錄下的資料將會被覆蓋！而insert into則不會，注意兩者之間的區別。例子如下：

  1. hive> insert overwrite table test
  2.     > PARTITION (age)
  3.     > select id, name, tel, age
  4.     > from wyp;
複製程式碼
更可喜的是，Hive還支援多表插入，什麼意思呢？在Hive中，我們可以把insert語句倒過來，把from放在最前面，它的執行效果和放在後面是一樣的，如下：
  1. hive> show create table test3;
  2. OK
  3. CREATE  TABLE test3(
  4.   id int,
  5.   name string)
  6. Time taken: 0.277 seconds, Fetched: 18 row(s)
  7. hive> from wyp
  8.     > insert into table test
  9.     > partition(age)
  10.     > select id, name, tel, age
  11.     > insert into table test3
  12.     > select id, name
  13.     > where age>25;
  14. hive> select * from test3;
  15. OK
  16. 8       wyp4
  17. 2       test
  18. 3       zs
  19. Time taken: 4.308 seconds, Fetched: 3 row(s)
複製程式碼
可以在同一個查詢中使用多個insert子句，這樣的好處是我們只需要掃描一遍源表就可以生成多個不相交的輸出。這個很酷吧！

四、在建立表的時候通過從別的表中查詢出相應的記錄並插入到所建立的表中

在實際情況中，表的輸出結果可能太多，不適於顯示在控制檯上，這時候，將Hive的查詢輸出結果直接存在一個新的表中是非常方便的，我們稱這種情況為CTAS（create table .. as select）如下：

  1. hive> create table test4
  2.     > as
  3.     > select id, name, tel
  4.     > from wyp;
  5. hive> select * from test4;
  6. OK
  7. 5       wyp1    131212121212
  8. 6       wyp2    134535353535
  9. 7       wyp3    132453535353
  10. 8       wyp4    154243434355
  11. 1       wyp     13188888888888
  12. 2       test    13888888888888
  13. 3       zs      899314121
  14. Time taken: 0.089 seconds, Fetched: 7 row(s)
複製程式碼

資料就插入到test4表中去了，CTAS操作是原子的，因此如果select查詢由於某種原因而失敗，新表是不會建立的！


相關推薦

Hive 之 寫入資料的方式

轉子：http://blog.csdn.net/lifuxiangcaohui/article/details/40588929 Hive的幾種常見的資料匯入方式這裡介紹四種：（1）、從本地檔案系統中匯入資料到Hive表；（2）、從HDFS上匯入資料到Hive表；（3）、

Hive之DDL資料定義

1 建立資料庫 1）建立一個數據庫，資料庫在HDFS上的預設儲存路徑是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2）避免要建立的資料庫已經存在錯誤，增加if not exists判斷。（標

hive安裝過程：metastore（元資料儲存）的三種方式之本地mysql方式

Hive版本：apache-hive-1.2.1 Hadoop版本：hadoop-2.5.1 Hive中metastore（元資料儲存）的三種方式：    a)本地Derby方式    b)本地mysql方式    c)Remote方式 2、解壓

2018-09-27#hive寫資料方式總結

hive 表寫入資料的方式 少量資料 insert into create table dw.dim_area_code ( country_name string comment "國家名稱", country_code string comment "國家程式碼", province_na

react之傳遞資料的幾種方式props傳值、路由傳值、狀態提升、redux、context

react之傳遞資料的幾種方式 1、父子傳值 父傳值：<子的標籤 value={'aaa'} index={'bbb'}></子的標籤> 子接值：<li key={this.props.index}>{this.props.value}</li>

Hive中表的資料匯入(五種方式)

目錄 總結： load： insert： 建立表並載入資料（As Select）： location： import： 總結： 總結： hive中一共有五種資料匯出的方式： ①：load data方式，如果路徑是local是追加，若為HDFS則

Hive之資料型別

  基礎資料型別與java資料型別一致 整型 TINYINT — 微整型，只佔用1個位元組，只能儲存0-255的整數。 SMALLINT– 小整型，佔用2個位元組，儲存範圍–32768 到 32767。 INT– 整型，佔用4個位元組，儲存範圍-2147483648到214748364

大資料hive之啟動報錯：system:java.io.tmpdir

解決方法： 在hive下建立個tmpdir目錄 在hive-site.xml中新增以下內容 <property> <name>system:java.io.tmpdir</name> <value&

大資料hive之hive連線mysql並啟動，出現SSL警告，如何解決？

文章目錄 1. 問題 2. 如何解決？ 2.1 設定useSSL=false 2.2 設定useSSL = true 1. 問題 Hive能正常執行任務，但出現“WARN: E

Redis學習——Redis持久化之RDB備份方式儲存資料

從這一個介紹裡面知道，redis比memcache作為快取資料庫強大的地方，一個是支援的資料型別比較多，另一個就是redis持久化功能。 下面就介紹Re

Hive之——metastore三種配置方式（轉）

轉自：https://blog.csdn.net/l1028386804/article/details/51564235   Hive的meta資料支援以下三種儲存方式，其中兩種屬於本地儲存，一種為遠端儲存。遠端儲存比較適合生產環境。Hive官方wiki詳細介紹了這三種方式，連結

“四種常見的 POST 提交資料方式”與之對應的“content-type取值”

application/x-www-form-urlencoded  這應該是最常見的 POST 提交資料的方式了。瀏覽器的原生 form 表單，如果不設定 enctype 屬性，那麼最終就會以 application/x-www-form-urlencoded 方式提交資料

android 中 鍵值對 方式存取 資料 方式之 SharedPreferences

說道   資料存取， 那就要  持久化..（這裡不說File ,Sqlite ，哈哈，這些當然可以理解為 檔案.. ） SharedPreferences 檔案是使用 XML 格式來對資料進行管理的.

Hive之資料傾斜的原因和解決方法

資料傾斜 在做Shuffle階段的優化過程中，遇到了資料傾斜的問題，造成了對一些情況下優化效果不明顯。主要是因為在Job完成後的所得到的Counters是整個Job的總和，優化是基於這些Counters得出的平均值，而由於資料傾斜的原因造成map處理資料量的差異過大，使得這些

IOS之BLE藍芽讀取資料與寫入資料

1.本篇文章歸納了詳細的藍芽讀取，與藍芽寫入的通訊。 2.藉助公司最近一直研發藍芽裝置專案，博主一路走過來，也遇到不少的坑，希望在此能夠給予更多看官的幫助。 藍芽的讀取 UUID的主要類檔案，歸納放置在一個檔案：Constants.h #define APP

Redis學習——Redis持久化之AOF備份方式儲存資料

新技術的出現一定是在老技術的基礎之上，並且完善了老技術的某一些不足的地方，新技術和老技術就如同JAVA中的繼承關係。 子類（新技術）比父類（老技術）更加的強大！ 在前面介紹了 Redis學習——Redis持久化之RDB備份方式儲存資料之後，下面在整理和學習

8086彙編學習之定址方式、資料型別以及幾個資料操作指令

一、and、or指令與應用： 1、描述： and指令：按位與 or指令：按位或 and register value or register value 其按位操作關係與C、C++等是一樣的，無需贅言。 eg:

Hadoop-寫入資料的幾種方式

create（新建） import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.Input

匯入資料進入hive的6種方式

下面介紹幾種常用的匯入資料到hive的方式 載入本地檔案到hive load data local inpath '/data/hive/student_info.txt' into table default.student_info 載入h

HIve中分割槽資料關聯的三種方式

之前的分割槽表都是先建立表然後載入資料到分割槽表中，然後就會在HDFS自動建立相關的目錄儲存資料，但是這裡反過來做，先在HDFS中建立相應的目錄，然後把資料直接上傳到這個目錄下，具體如下所示 先在HDFS中建立存放資料的目錄 dfs -mkdir -p /user/hiv