Hive 系列(四)—— Hive 常用 DDL 操作
阿新 • • 發佈:2019-12-31
一、Database
1.1 檢視資料列表
show databases;
複製程式碼
1.2 使用資料庫
USE database_name;
複製程式碼
1.3 新建資料庫
語法:
CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --DATABASE|SCHEMA 是等價的
[COMMENT database_comment] --資料庫註釋
[LOCATION hdfs_path] --儲存在 HDFS 上的位置
[WITH DBPROPERTIES (property_name=property_value,...)]; --指定額外屬性
複製程式碼
示例:
CREATE DATABASE IF NOT EXISTS hive_test
COMMENT 'hive database for test'
WITH DBPROPERTIES ('create'='heibaiying');
複製程式碼
1.4 檢視資料庫資訊
語法:
DESC DATABASE [EXTENDED] db_name; --EXTENDED 表示是否顯示額外屬性
複製程式碼
示例:
DESC DATABASE EXTENDED hive_test;
複製程式碼
1.5 刪除資料庫
語法:
DROP (DATABASE|SCHEMA) [IF EXISTS] database_name [RESTRICT|CASCADE];
複製程式碼
- 預設行為是 RESTRICT,如果資料庫中存在表則刪除失敗。要想刪除庫及其中的表,可以使用 CASCADE 級聯刪除。
示例:
DROP DATABASE IF EXISTS hive_test CASCADE;
複製程式碼
二、建立表
2.1 建表語法
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name --表名
[(col_name data_type [COMMENT col_comment],... [constraint_specification])] --列名 列資料型別
[COMMENT table_comment] --表描述
[PARTITIONED BY (col_name data_type [COMMENT col_comment],...)] --分割槽表分割槽規則
[
CLUSTERED BY (col_name,col_name,...)
[SORTED BY (col_name [ASC|DESC],...)] INTO num_buckets BUCKETS
] --分桶表分桶規則
[SKEWED BY (col_name,...) ON ((col_value,col_value,...),(col_value,...)
[STORED AS DIRECTORIES]
] --指定傾斜列和值
[
[ROW FORMAT row_format]
[STORED AS file_format]
| STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]
] -- 指定行分隔符、儲存檔案格式或採用自定義儲存格式
[LOCATION hdfs_path] -- 指定表的儲存位置
[TBLPROPERTIES (property_name=property_value,...)] --指定表的屬性
[AS select_statement]; --從查詢結果建立表
複製程式碼
2.2 內部表
CREATE TABLE emp(
empno INT,ename STRING,job STRING,mgr INT,hiredate TIMESTAMP,sal DECIMAL(7,2),comm DECIMAL(7,deptno INT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";
複製程式碼
2.3 外部表
CREATE EXTERNAL TABLE emp_external(
empno INT,deptno INT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
LOCATION '/hive/emp_external';
複製程式碼
使用 desc format emp_external
命令可以檢視錶的詳細資訊如下:
2.4 分割槽表
CREATE EXTERNAL TABLE emp_partition(
empno INT,2)
)
PARTITIONED BY (deptno INT) -- 按照部門編號進行分割槽
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
LOCATION '/hive/emp_partition';
複製程式碼
2.5 分桶表
CREATE EXTERNAL TABLE emp_bucket(
empno INT,deptno INT)
CLUSTERED BY(empno) SORTED BY(empno ASC) INTO 4 BUCKETS --按照員工編號雜湊到四個 bucket 中
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
LOCATION '/hive/emp_bucket';
複製程式碼
2.6 傾斜表
通過指定一個或者多個列經常出現的值(嚴重偏斜),Hive 會自動將涉及到這些值的資料拆分為單獨的檔案。在查詢時,如果涉及到傾斜值,它就直接從獨立檔案中獲取資料,而不是掃描所有檔案,這使得效能得到提升。
CREATE EXTERNAL TABLE emp_skewed(
empno INT,2)
)
SKEWED BY (empno) ON (66,88,100) --指定 empno 的傾斜值 66,88,100
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
LOCATION '/hive/emp_skewed';
複製程式碼
2.7 臨時表
臨時表僅對當前 session 可見,臨時表的資料將儲存在使用者的暫存目錄中,並在會話結束後刪除。如果臨時表與永久表表名相同,則對該表名的任何引用都將解析為臨時表,而不是永久表。臨時表還具有以下兩個限制:
- 不支援分割槽列;
- 不支援建立索引。
CREATE TEMPORARY TABLE emp_temp(
empno INT,2)
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";
複製程式碼
2.8 CTAS建立表
支援從查詢語句的結果建立表:
CREATE TABLE emp_copy AS SELECT * FROM emp WHERE deptno='20';
複製程式碼
2.9 複製表結構
語法:
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name --建立表表名
LIKE existing_table_or_view_name --被複製表的表名
[LOCATION hdfs_path]; --儲存位置
複製程式碼
示例:
CREATE TEMPORARY EXTERNAL TABLE IF NOT EXISTS emp_co LIKE emp
複製程式碼
2.10 載入資料到表
載入資料到表中屬於 DML 操作,這裡為了方便大家測試,先簡單介紹一下載入本地資料到表中:
-- 載入資料到 emp 表中
load data local inpath "/usr/file/emp.txt" into table emp;
複製程式碼
其中 emp.txt 的內容如下,你可以直接複製使用,也可以到本倉庫的resources 目錄下載:
7369 SMITH CLERK 7902 1980-12-17 00:00:00 800.00 20
7499 ALLEN SALESMAN 7698 1981-02-20 00:00:00 1600.00 300.00 30
7521 WARD SALESMAN 7698 1981-02-22 00:00:00 1250.00 500.00 30
7566 JONES MANAGER 7839 1981-04-02 00:00:00 2975.00 20
7654 MARTIN SALESMAN 7698 1981-09-28 00:00:00 1250.00 1400.00 30
7698 BLAKE MANAGER 7839 1981-05-01 00:00:00 2850.00 30
7782 CLARK MANAGER 7839 1981-06-09 00:00:00 2450.00 10
7788 SCOTT ANALYST 7566 1987-04-19 00:00:00 1500.00 20
7839 KING PRESIDENT 1981-11-17 00:00:00 5000.00 10
7844 TURNER SALESMAN 7698 1981-09-08 00:00:00 1500.00 0.00 30
7876 ADAMS CLERK 7788 1987-05-23 00:00:00 1100.00 20
7900 JAMES CLERK 7698 1981-12-03 00:00:00 950.00 30
7902 FORD ANALYST 7566 1981-12-03 00:00:00 3000.00 20
7934 MILLER CLERK 7782 1982-01-23 00:00:00 1300.00 10
複製程式碼
載入後可查詢表中資料:
三、修改表
3.1 重新命名錶
語法:
ALTER TABLE table_name RENAME TO new_table_name;
複製程式碼
示例:
ALTER TABLE emp_temp RENAME TO new_emp; --把 emp_temp 表重新命名為 new_emp
複製程式碼
3.2 修改列
語法:
ALTER TABLE table_name [PARTITION partition_spec] CHANGE [COLUMN] col_old_name col_new_name column_type
[COMMENT col_comment] [FIRST|AFTER column_name] [CASCADE|RESTRICT];
複製程式碼
示例:
-- 修改欄位名和型別
ALTER TABLE emp_temp CHANGE empno empno_new INT;
-- 修改欄位 sal 的名稱 並將其放置到 empno 欄位後
ALTER TABLE emp_temp CHANGE sal sal_new decimal(7,2) AFTER ename;
-- 為欄位增加註釋
ALTER TABLE emp_temp CHANGE mgr mgr_new INT COMMENT 'this is column mgr';
複製程式碼
3.3 新增列
示例:
ALTER TABLE emp_temp ADD COLUMNS (address STRING COMMENT 'home address');
複製程式碼
四、清空表/刪除表
4.1 清空表
語法:
-- 清空整個表或表指定分割槽中的資料
TRUNCATE TABLE table_name [PARTITION (partition_column = partition_col_value,...)];
複製程式碼
- 目前只有內部表才能執行 TRUNCATE 操作,外部表執行時會丟擲異常
Cannot truncate non-managed table XXXX
。
示例:
TRUNCATE TABLE emp_mgt_ptn PARTITION (deptno=20);
複製程式碼
4.2 刪除表
語法:
DROP TABLE [IF EXISTS] table_name [PURGE];
複製程式碼
- 內部表:不僅會刪除表的元資料,同時會刪除 HDFS 上的資料;
- 外部表:只會刪除表的元資料,不會刪除 HDFS 上的資料;
- 刪除檢視引用的表時,不會給出警告(但檢視已經無效了,必須由使用者刪除或重新建立)。
五、其他命令
5.1 Describe
檢視資料庫:
DESCRIBE|Desc DATABASE [EXTENDED] db_name; --EXTENDED 是否顯示額外屬性
複製程式碼
檢視錶:
DESCRIBE|Desc [EXTENDED|FORMATTED] table_name --FORMATTED 以友好的展現方式檢視錶詳情
複製程式碼
5.2 Show
1. 檢視資料庫列表
-- 語法
SHOW (DATABASES|SCHEMAS) [LIKE 'identifier_with_wildcards'];
-- 示例:
SHOW DATABASES like 'hive*';
複製程式碼
LIKE 子句允許使用正則表示式進行過濾,但是 SHOW 語句當中的 LIKE 子句只支援 *
(萬用字元)和 |
(條件或)兩個符號。例如 employees
,emp *
,emp * | * ees
,所有這些都將匹配名為 employees
的資料庫。
2. 檢視錶的列表
-- 語法
SHOW TABLES [IN database_name] ['identifier_with_wildcards'];
-- 示例
SHOW TABLES IN default;
複製程式碼
3. 檢視檢視列表
SHOW VIEWS [IN/FROM database_name] [LIKE 'pattern_with_wildcards']; --僅支援 Hive 2.2.0 +
複製程式碼
4. 檢視錶的分割槽列表
SHOW PARTITIONS table_name;
複製程式碼
5. 檢視錶/檢視的建立語句
SHOW CREATE TABLE ([db_name.]table_name|view_name);
複製程式碼
參考資料
更多大資料系列文章可以參見 GitHub 開源專案: 大資料入門指南