2. 程式人生 > >Hive基礎sql語法(DML)

Hive基礎sql語法(DML)

阿新 • • 發佈：2018-06-24
reside fine 不常用 就是 total asi ins -a TE

DML操作(Data Manipulation Language)

參考官方文檔： DML文檔

  • 因update和delete在Hive中一般用不到，本篇文章不做講解。本文主要介紹Load和insert操作。
1. LOAD（加載數據）

LOAD作用是加載文件到表中（Loading files into tables）

  • 下面是官網上為我們列出的語法：

    LOAD DATA [LOCAL] INPATH ‘filepath‘ [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
LOAD DATA [LOCAL] INPATH ‘filepath‘ [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [INPUTFORMAT ‘inputformat‘ SERDE ‘serde‘] (3.0 or later)

  • 1.加載數據到表中時，Hive不做任何轉換。加載操作只是把數據拷貝或移動操作，即移動數據文件到Hive表相應的位置。

  • 2.加載的目標可以是一個表，也可以是一個分區。如果表是分區的，則必須通過指定所有分區列的值來指定一個表的分區。

  • 3.filepath可以是一個文件，也可以是一個目錄。不管什麽情況下，filepath被認為是一個文件集合。

LOCAL：表示輸入文件在本地文件系統（Linux），如果沒有加LOCAL，hive則會去HDFS上查找該文件。
OVERWRITE：表示如果表中有數據，則先刪除數據，再插入新數據，如果沒有這個關鍵詞，則直接附加數據到表中。
PARTITION：如果表中存在分區，可以按照分區進行導入。

# 創建一張員工表
hive> create table emp 
    > (empno int, ename string, job string, mgr int, hiredate string, salary double, comm double, deptno int)
    > ROW FORMAT DELIMITED 
    > FIELDS TERMINATED BY ‘\t‘ ;
OK
Time taken: 0.651 seconds
# 把本地文件系統中emp.txt導入表
hive> LOAD DATA LOCAL INPATH ‘/home/hadoop/emp.txt‘ OVERWRITE INTO TABLE emp; 
Loading data to table default.emp
Table default.emp stats: [numFiles=1, numRows=0, totalSize=886, rawDataSize=0]
OK
Time taken: 1.848 seconds
# 查看表數據
hive> select * from emp;
OK
7369    SMITH   CLERK   7902    1980-12-17      800.0   NULL    20
7499    ALLEN   SALESMAN        7698    1981-2-20       1600.0  300.0   30
7521    WARD    SALESMAN        7698    1981-2-22       1250.0  500.0   30
7566    JONES   MANAGER 7839    1981-4-2        2975.0  NULL    20
7654    MARTIN  SALESMAN        7698    1981-9-28       1250.0  1400.0  30
7698    BLAKE   MANAGER 7839    1981-5-1        2850.0  NULL    30
7782    CLARK   MANAGER 7839    1981-6-9        2450.0  NULL    10
7788    SCOTT   ANALYST 7566    1987-4-19       3000.0  NULL    20
7839    KING    PRESIDENT       NULL    1981-11-17      5000.0  NULL    10
7844    TURNER  SALESMAN        7698    1981-9-8        1500.0  0.0     30
7876    ADAMS   CLERK   7788    1987-5-23       1100.0  NULL    20
7900    JAMES   CLERK   7698    1981-12-3       950.0   NULL    30
7902    FORD    ANALYST 7566    1981-12-3       3000.0  NULL    20
7934    MILLER  CLERK   7782    1982-1-23       1300.0  NULL    10
# 不用OVERWRITE關鍵字
hive>  LOAD DATA LOCAL INPATH ‘/home/hadoop/emp.txt‘  INTO TABLE emp;
# 再次查看
hive> select * from emp;
OK
7369    SMITH   CLERK   7902    1980-12-17      800.0   NULL    20
7499    ALLEN   SALESMAN        7698    1981-2-20       1600.0  300.0   30
7521    WARD    SALESMAN        7698    1981-2-22       1250.0  500.0   30
7566    JONES   MANAGER 7839    1981-4-2        2975.0  NULL    20
7654    MARTIN  SALESMAN        7698    1981-9-28       1250.0  1400.0  30
7698    BLAKE   MANAGER 7839    1981-5-1        2850.0  NULL    30
7782    CLARK   MANAGER 7839    1981-6-9        2450.0  NULL    10
7788    SCOTT   ANALYST 7566    1987-4-19       3000.0  NULL    20
7839    KING    PRESIDENT       NULL    1981-11-17      5000.0  NULL    10
7844    TURNER  SALESMAN        7698    1981-9-8        1500.0  0.0     30
7876    ADAMS   CLERK   7788    1987-5-23       1100.0  NULL    20
7900    JAMES   CLERK   7698    1981-12-3       950.0   NULL    30
7902    FORD    ANALYST 7566    1981-12-3       3000.0  NULL    20
7934    MILLER  CLERK   7782    1982-1-23       1300.0  NULL    10
7369    SMITH   CLERK   7902    1980-12-17      800.0   NULL    20
7499    ALLEN   SALESMAN        7698    1981-2-20       1600.0  300.0   30
7521    WARD    SALESMAN        7698    1981-2-22       1250.0  500.0   30
7566    JONES   MANAGER 7839    1981-4-2        2975.0  NULL    20
7654    MARTIN  SALESMAN        7698    1981-9-28       1250.0  1400.0  30
7698    BLAKE   MANAGER 7839    1981-5-1        2850.0  NULL    30
7782    CLARK   MANAGER 7839    1981-6-9        2450.0  NULL    10
7788    SCOTT   ANALYST 7566    1987-4-19       3000.0  NULL    20
7839    KING    PRESIDENT       NULL    1981-11-17      5000.0  NULL    10
7844    TURNER  SALESMAN        7698    1981-9-8        1500.0  0.0     30
7876    ADAMS   CLERK   7788    1987-5-23       1100.0  NULL    20
7900    JAMES   CLERK   7698    1981-12-3       950.0   NULL    30
7902    FORD    ANALYST 7566    1981-12-3       3000.0  NULL    20
7934    MILLER  CLERK   7782    1982-1-23       1300.0  NULL    10
Time taken: 0.137 seconds, Fetched: 28 row(s)
# 再次OVERWRITE覆蓋導入
hive> LOAD DATA LOCAL INPATH ‘/home/hadoop/emp.txt‘ OVERWRITE INTO TABLE emp; 
# 發現數據被覆蓋了
hive> select * from emp;
OK
7369    SMITH   CLERK   7902    1980-12-17      800.0   NULL    20
7499    ALLEN   SALESMAN        7698    1981-2-20       1600.0  300.0   30
7521    WARD    SALESMAN        7698    1981-2-22       1250.0  500.0   30
7566    JONES   MANAGER 7839    1981-4-2        2975.0  NULL    20
7654    MARTIN  SALESMAN        7698    1981-9-28       1250.0  1400.0  30
7698    BLAKE   MANAGER 7839    1981-5-1        2850.0  NULL    30
7782    CLARK   MANAGER 7839    1981-6-9        2450.0  NULL    10
7788    SCOTT   ANALYST 7566    1987-4-19       3000.0  NULL    20
7839    KING    PRESIDENT       NULL    1981-11-17      5000.0  NULL    10
7844    TURNER  SALESMAN        7698    1981-9-8        1500.0  0.0     30
7876    ADAMS   CLERK   7788    1987-5-23       1100.0  NULL    20
7900    JAMES   CLERK   7698    1981-12-3       950.0   NULL    30
7902    FORD    ANALYST 7566    1981-12-3       3000.0  NULL    20
7934    MILLER  CLERK   7782    1982-1-23       1300.0  NULL    10
Time taken: 0.164 seconds, Fetched: 14 row(s)
2. insert into到表（Inserting data into Hive Tables from queries）
  • 下面是官網上為我們列出的語法：
Standard syntax:
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;

Hive extension (multiple inserts):
FROM from_statement
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] select_statement1
[INSERT OVERWRITE TABLE tablename2 [PARTITION ... [IF NOT EXISTS]] select_statement2]
[INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2] ...;
FROM from_statement
INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1
[INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2]
[INSERT OVERWRITE TABLE tablename2 [PARTITION ... [IF NOT EXISTS]] select_statement2] ...;

Hive extension (dynamic partition inserts):
INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
INSERT INTO TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;

官網又給我們列出一大堆語法，看著就很可怕，但是仔細整理後再來看看你會發現並沒有什麽，下面對其進行分析：

  • 1 標準語法（Standard syntax）：INSERT OVERWRITE TABLE tablename1 select_statement1 FROM from_statement; 其實就是一個簡單的插入語句。
  • 2.可以使用PARTITION 關鍵字，進行分區插入。
  • 3.OVERWRITE是否選擇覆蓋。

  • 4 使用插入語法會跑mr作業。

  • 5 multiple inserts：代表多行插入。

  • 6 dynamic partition inserts：動態分區插入。

註：這裏有兩種插語法，也就是加上OVERWRITE關鍵字和不加的區別。

# insert overwrite
hive> insert overwrite table emp2 select * from emp;
Query ID = hadoop_20180624141010_3063d504-ff2f-4003-843f-7dca60f1dd7e
Total jobs = 3
Launching Job 1 out of 3
...
OK
Time taken: 19.554 seconds
hive> select * from emp2;
OK
7369    SMITH   CLERK   7902    1980-12-17      800.0   NULL    20
7499    ALLEN   SALESMAN        7698    1981-2-20       1600.0  300.0   30
7521    WARD    SALESMAN        7698    1981-2-22       1250.0  500.0   30
7566    JONES   MANAGER 7839    1981-4-2        2975.0  NULL    20
7654    MARTIN  SALESMAN        7698    1981-9-28       1250.0  1400.0  30
7698    BLAKE   MANAGER 7839    1981-5-1        2850.0  NULL    30
7782    CLARK   MANAGER 7839    1981-6-9        2450.0  NULL    10
7788    SCOTT   ANALYST 7566    1987-4-19       3000.0  NULL    20
7839    KING    PRESIDENT       NULL    1981-11-17      5000.0  NULL    10
7844    TURNER  SALESMAN        7698    1981-9-8        1500.0  0.0     30
7876    ADAMS   CLERK   7788    1987-5-23       1100.0  NULL    20
7900    JAMES   CLERK   7698    1981-12-3       950.0   NULL    30
7902    FORD    ANALYST 7566    1981-12-3       3000.0  NULL    20
7934    MILLER  CLERK   7782    1982-1-23       1300.0  NULL    10
Time taken: 0.143 seconds, Fetched: 14 row(s)

# insert追加
hive> insert into table emp2 select * from emp;
Query ID = hadoop_20180624141010_3063d504-ff2f-4003-843f-7dca60f1dd7e
Total jobs = 3
...
OK
Time taken: 18.539 seconds
hive> select * from emp2;
OK
7369    SMITH   CLERK   7902    1980-12-17      800.0   NULL    20
7499    ALLEN   SALESMAN        7698    1981-2-20       1600.0  300.0   30
7521    WARD    SALESMAN        7698    1981-2-22       1250.0  500.0   30
7566    JONES   MANAGER 7839    1981-4-2        2975.0  NULL    20
7654    MARTIN  SALESMAN        7698    1981-9-28       1250.0  1400.0  30
7698    BLAKE   MANAGER 7839    1981-5-1        2850.0  NULL    30
7782    CLARK   MANAGER 7839    1981-6-9        2450.0  NULL    10
7788    SCOTT   ANALYST 7566    1987-4-19       3000.0  NULL    20
7839    KING    PRESIDENT       NULL    1981-11-17      5000.0  NULL    10
7844    TURNER  SALESMAN        7698    1981-9-8        1500.0  0.0     30
7876    ADAMS   CLERK   7788    1987-5-23       1100.0  NULL    20
7900    JAMES   CLERK   7698    1981-12-3       950.0   NULL    30
7902    FORD    ANALYST 7566    1981-12-3       3000.0  NULL    20
7934    MILLER  CLERK   7782    1982-1-23       1300.0  NULL    10
7369    SMITH   CLERK   7902    1980-12-17      800.0   NULL    20
7499    ALLEN   SALESMAN        7698    1981-2-20       1600.0  300.0   30
7521    WARD    SALESMAN        7698    1981-2-22       1250.0  500.0   30
7566    JONES   MANAGER 7839    1981-4-2        2975.0  NULL    20
7654    MARTIN  SALESMAN        7698    1981-9-28       1250.0  1400.0  30
7698    BLAKE   MANAGER 7839    1981-5-1        2850.0  NULL    30
7782    CLARK   MANAGER 7839    1981-6-9        2450.0  NULL    10
7788    SCOTT   ANALYST 7566    1987-4-19       3000.0  NULL    20
7839    KING    PRESIDENT       NULL    1981-11-17      5000.0  NULL    10
7844    TURNER  SALESMAN        7698    1981-9-8        1500.0  0.0     30
7876    ADAMS   CLERK   7788    1987-5-23       1100.0  NULL    20
7900    JAMES   CLERK   7698    1981-12-3       950.0   NULL    30
7902    FORD    ANALYST 7566    1981-12-3       3000.0  NULL    20
7934    MILLER  CLERK   7782    1982-1-23       1300.0  NULL    10
Time taken: 0.132 seconds, Fetched: 28 row(s)
  • Inserting values into tables（手動插入一條或多條記錄，會跑mr作業 不常用）
  • 官方用法： 
    INSERT INTO TABLE tablename [PARTITION (partcol1[=val1], partcol2[=val2] ...)] VALUES values_row [, values_row ...]
hive> create table stu(
    > id int,
    > name string
    > )
    >  ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘;
OK
Time taken: 0.253 seconds
hive> insert into table stu values (1,"zhangsan");
Query ID = hadoop_20180624141010_3063d504-ff2f-4003-843f-7dca60f1dd7e
Total jobs = 3
...
OK
Time taken: 16.589 seconds
hive> select * from stu;
OK
1       zhangsan
Time taken: 0.123 seconds, Fetched: 1 row(s)
3. 數據導出（Writing data into the filesystem from queries）

查詢結果可以通過語句插入文件系統中：

  • 下面是官網上為我們列出的語法： 
    
Standard syntax:（標準語法）
INSERT OVERWRITE [LOCAL] DIRECTORY directory1
[ROW FORMAT row_format] [STORED AS file_format] (Note: Only available starting with Hive 0.11.0)
SELECT ... FROM ...

Hive extension (multiple inserts):（導出多條記錄）
FROM from_statement
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 select_statement2] ...

row_format
: DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char]
[MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
[NULL DEFINED AS char] (Note: Only available starting with Hive 0.13)

**LOCAL**：加上LOCAL關鍵字代表導入本地系統，不加默認導入HDFS； 
**STORED AS**:可以指定存儲格式。

```shell
hive> insert overwrite local directory ‘/home/hadoop/stu‘ ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘ select * from stu;
Query ID = hadoop_20180624153131_97271014-abcf-4e70-b318-7de85d27c97f
Total jobs = 1
...
OK
Time taken: 15.09 seconds
# 結果
[hadoop@hadoop000 stu]$ pwd
/home/hadoop/stu
[hadoop@hadoop000 stu]$ cat 000000_0 
1       zhangsan

# 導出多條記錄
hive> from emp
    > INSERT OVERWRITE  LOCAL DIRECTORY ‘/home/hadoop/tmp/hivetmp1‘
    > ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
    > select empno, ename  
    > INSERT OVERWRITE  LOCAL DIRECTORY ‘/home/hadoop/tmp/hivetmp2‘
    > ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
    > select ename;
Query ID = hadoop_20180624153131_97271014-abcf-4e70-b318-7de85d27c97f
Total jobs = 1
...
OK
Time taken: 16.261 seconds
# 結果
[hadoop@hadoop000 tmp]$ cd hivetmp1
[hadoop@hadoop000 hivetmp1]$ ll
total 4
-rw-r--r-- 1 hadoop hadoop 154 Jun 24 15:39 000000_0
[hadoop@hadoop000 hivetmp1]$ cat 000000_0 
7369    SMITH
7499    ALLEN
7521    WARD
7566    JONES
7654    MARTIN
7698    BLAKE
7782    CLARK
7788    SCOTT
7839    KING
7844    TURNER
7876    ADAMS
7900    JAMES
7902    FORD
7934    MILLER
[hadoop@hadoop000 hivetmp1]$ cd ..
[hadoop@hadoop000 tmp]$ cd hivetmp2
[hadoop@hadoop000 hivetmp2]$ cat 000000_0 
SMITH
ALLEN
WARD
JONES
MARTIN
BLAKE
CLARK
SCOTT
KING
TURNER
ADAMS
JAMES
FORD
MILLER

參考： https://blog.csdn.net/yu0_zhang0/article/details/79007784

Hive基礎sql語法(DML)

相關推薦

Hive基礎sql語法(DML)

reside fine 不常用 就是 total asi ins -a TE DML操作(Data Manipulation Language) 參考官方文檔： DML文檔 因update和delete在Hive中一般用不到，本篇文章不做講解。本文主要介紹Load和ins

Hadoop Hive基礎SQL語法(DML 操作:元資料儲存)

2. DML操作:元資料儲存 hive不支援用insert語句一條一條的進行插入操作，也不支援update操作。資料是以load的方式載入到建立好的表中。資料一旦匯入就不可以修改。 DML包括：INSERT插入、UPDATE更新、DELETE刪除 •向

Hive基礎sql語法(DDL)

而且 包含 att com sel nts state 刪除 local 前言： 經過前面的學習 我們了解到Hive可以使用關系型數據庫來存儲元數據，而且Hive提供了比較完整的SQL功能 ，這篇文章主要介紹Hive基本的sql語法。 首先了解下Hive的數據存儲結構，

Hadoop Hive基礎sql語法

Hive 是基於Hadoop 構建的一套資料倉庫分析系統，它提供了豐富的SQL查詢方式來分析儲存在Hadoop 分散式檔案系統中的資料，可以將結構化的資料檔案對映為一張資料庫表，並提供完整的SQL查詢功能，可以將SQL語句轉換為MapReduce任務進行執行，通過自己的SQL

SQL語法--DML

DML(Data Manipulation Language)資料操作語言用來對資料庫中表的資料進行增刪等操作。關鍵字：insert, delete, update 插入（關鍵字：insert　into） 1.將所有欄位都寫出來 INSERT INTO  表名 (欄位名

008-Hadoop Hive sql語法詳解3-DML 操作:元數據存儲

pan 查詢 寫入 所有 not insert語句 int 寫入文件 文件系統 一、概述 hive不支持用insert語句一條一條的進行插入操作，也不支持update操作。數據是以load的方式加載到建立好的表中。數據一旦導入就不可以修改。 DML包括：INSERT插入

Hadoop Hive sql語法詳解3--DML 操作:元資料儲存

轉載自：http://www.aboutyun.com/thread-7326-1-1.html 1 基本的Select 操作 SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_referenc

017-Hadoop Hive sql語法詳解7-去重排序、數據傾斜

col 去重排序 sel cluster 可能 更多 分發 指定 clust 一、數據去重排序 1.1、去重 　　distinct與group by 　　盡量避免使用distinct進行排重，特別是大表操作，用group by代替　　 -- 不建議 selec

016-Hadoop Hive sql語法詳解6-job輸入輸出優化、數據剪裁、減少job數、動態分區

分享 hive table 取數 nbsp put union 正在 style 一、job輸入輸出優化 善用muti-insert、union all，不同表的union all相當於multiple inputs，同一個表的union all，相當map一次輸出多條

SQL語法之DDL和DML

sel ble tro har -c primary rom 多個 constrain SQL語法之DDL和DML DDL數據庫定義語言　　　　create 創建　　　　alter 修改　　　　drop 刪除　　　　　　drop和delete的區別　　　　tr

Hadoop Hive sql語法詳解

Hive 是基於Hadoop 構建的一套資料倉庫分析系統，它提供了豐富的SQL查詢方式來分析儲存在Hadoop 分散式檔案系統中的資料，可以將結構化的資料檔案對映為一張資料庫表，並提供完整的SQL查詢功能，可以將SQL語句轉換為MapReduce任務進行執行，通過自己的SQL

阿里雲大資料ACP認證知識點梳理5——基礎SQL語句（DML部分）

insert overwrite table sale_detail_insert partition (sale_date='2013', region='china')insert into table sale_detail_insert partition (sale_date='2013', reg

【大資料零基礎】SQL語法2

想知道員工所屬部門是什麼、在什麼地方、所屬工資等級是什麼？ select a.ename,a.deptno,(a.sal+IFNULL(a.comm, 0)) as salcomm, s.grade, b.dname,b.loc from emp a left join dept b on a.deptno=

Hive sql語法詳解

1.  DDL 操作 DDL •建表 •刪除表 •修改表結構 •建立／刪除檢視 •建立資料庫 •顯示命令 建表： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name    [(col_name data_type [COMMENT

七、sql基礎：1.DML語句--【Oracle資料庫】

####七、DML語句 Data Manipulation Language，資料操縱語言，增刪改。 #####1. INSERT語句 ######1.1 格式一 insert into student (stu_id, stu_name) values(1

Hadoop Hive sql語法詳解5--HiveQL與SQL區別

1.hive內聯支援什麼格式？2.分號字元注意什麼問題？3.hive中empty是否為null? 4.hive是否支援插入現有表或則分割槽中？ 5.hive是否支援INSERT INTO 表 values（）？ 1、Hive不支援等值連線 •SQL中對兩表內聯可以寫成：•s

Hadoop Hive sql語法詳解1-認識hive及DDL操作

轉載自：http://www.aboutyun.com/thread-7324-1-1.html 1.認識hive：Hive 是基於Hadoop 構建的一套資料倉庫分析系統，它提供了豐富的SQL查詢方式來分析儲存在Hadoop 分散式檔案系統中的資料，可以將結構化的資料檔

SQL——語法基礎篇（上）

用資料庫的方式思考SQL是如何執行的 雖然 SQL 是宣告式語言，我們可以像使用英語一樣使用它，不過在 RDBMS（關係型資料庫管理系統）中，SQL 的實現方式還是有差別的。今天我們就從資料庫的角度來思考一下 SQL 是如何被執行的。 Oracle 中的 SQL 是如何執行的 我們先來看下 SQL 在 Ora

淘寶數據庫OceanBase SQL編譯器部分 源代碼閱讀--解析SQL語法樹

git itemtype 工具 銷毀 cin bsp 年輕 you any OceanBase是阿裏巴巴集團自主研發的可擴展的關系型數據庫，實現了跨行跨表的事務，支持數千億條記錄、數百TB數據上的SQL操作。在阿裏巴巴集團下，OceanBase數據庫支持了多個重

Day1[下] - Python基礎 基本語法、流程控制

數字 tin 流程 label reference rst too ren ogr 一、變量\字符編碼 Variables are used to store information to be referenced and manipulated in a comput