2. 程式人生 > 其它 >數倉工具—Hive表的基本操作(3)

數倉工具—Hive表的基本操作(3)

阿新 • • 發佈：2020-12-24

技術標籤：資料倉庫Hivehive

1. 建立表

create table語句遵從sql語法習慣，只不過Hive的語法更靈活。例如，可以定義表的資料檔案儲存位置，使用的儲存格式等。

簡單一點就是這樣的CREATE TABLE pokes (foo INT, bar STRING); 除了必要的資訊外，其他的都可以使用預設的資訊

分割槽表

create table if not exists test.user1(
name string comment 'name',
salary float comment 'salary',
address struct<country:string,
 
 city:string> comment 'home address'
)
comment 'description of the table'
partitioned by (age int)
row format delimited fields terminated by '\t'
stored as orc;

沒有指定external關鍵字，則為管理表，跟mysql一樣，if not exists如果表存在則不做操作，否則則新建表。comment可以為其做註釋，分割槽列為age年齡，列之間分隔符是\t，儲存格式為列式儲存orc，儲存位置為預設位置，即引數hive.metastore.warehouse.dir

（預設：/user/hive/warehouse）指定的hdfs目錄。

分桶表

其實我們可以大致的將表分為，普通表、分割槽表、和分桶表，下面我們演示一下分桶表，至於分割槽表和分桶表之間的區別我們後面會單獨講,下面我們建立一個分桶表

CREATE TABLE par_table(
  viewTime INT,
  userid BIGINT,
  page_url STRING, referrer_url STRING,
  ip STRING COMMENT 'IP Address of the User'
)
COMMENT 'This is the page view table'
PARTITIONED BY
 
(date STRING, pos STRING)
CLUSTERED BY(userid) SORTED BY(viewTime) INTO 32 BUCKETS
ROW FORMAT DELIMITED ‘\t’
  FIELDS TERMINATED BY '\n'
STORED AS SEQUENCEFILE;

2. 拷貝表

使用like可以拷貝一張跟原表結構一樣的空表，裡面是沒有資料的。

create table if not exists test.user2 like test.user1;

當然你也可以根據查詢出來的資料建立表

create table user_behavior_copy as select * from user_behavior limit 10;

3. 查看錶結構

通過desc [可選引數] tableName命令查看錶結構，可以看出拷貝的表test.user1與原表test.user1的表結構是一樣的。

hive> desc test.user2;
OK
name                	string              	name                
salary              	float               	salary              
address             	struct<country:string,city:string>	home address        
age                 	int                 	                    
	 	 
# Partition Information	 	 
# col_name            	data_type           	comment             
	 	 
age                 	int

也可以加formatted，可以看到更加詳細和冗長的輸出資訊。

hive> desc formatted test.user2;
OK
# col_name            	data_type           	comment             
	 	 
name                	string              	name                
salary              	float               	salary              
address             	struct<country:string,city:string>	home address        
	 	 
# Partition Information	 	 
# col_name            	data_type           	comment             
	 	 
age                 	int                 	                    
	 	 
# Detailed Table Information	 	 
Database:           	test                	 
Owner:              	hdfs                	 
CreateTime:         	Mon Dec 21 16:37:57 CST 2020	 
LastAccessTime:     	UNKNOWN             	 
Retention:          	0                   	 
Location:           	hdfs://nameservice2/user/hive/warehouse/test.db/user2	 
Table Type:         	MANAGED_TABLE       	 
Table Parameters:	 	 
	COLUMN_STATS_ACCURATE	{\"BASIC_STATS\":\"true\"}
	numFiles            	0                   
	numPartitions       	0                   
	numRows             	0                   
	rawDataSize         	0                   
	totalSize           	0                   
	transient_lastDdlTime	1608539877          
	 	 
# Storage Information	 	 
SerDe Library:      	org.apache.hadoop.hive.ql.io.orc.OrcSerde	 
InputFormat:        	org.apache.hadoop.hive.ql.io.orc.OrcInputFormat	 
OutputFormat:       	org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat	 
Compressed:         	No                  	 
Num Buckets:        	-1                  	 
Bucket Columns:     	[]                  	 
Sort Columns:       	[]                  	 
Storage Desc Params:	 	 
	field.delim         	\t                  
	serialization.format	\t

4. 刪除表

這跟sql中刪除命令drop table是一樣的：

drop table if exists table_name;

對於管理表（內部表），直接把表徹底刪除了；對於外部表，還需要刪除對應的hdfs檔案才會徹底將這張表刪除掉，為了安全，通常hadoop叢集是開啟回收站功能的，刪除外表表的資料就在回收站，後面如果想恢復也是可以恢復的，直接從回收站mv到hive對應目錄即可。

5. 修改表

大多數表屬性可以通過alter table來修改。

5.1 表重新命名

alter table test.user1 rename to test.user3;

5.2 增、修、刪分割槽

增加分割槽使用命令alter table table_name add partition(...) location hdfs_path

alter table test.user2 add if not exists
partition (age = 101) location '/user/hive/warehouse/test.db/user2/part-0000101'
partition (age = 102) location '/user/hive/warehouse/test.db/user2/part-0000102'

修改分割槽也是使用alter table ... set ...命令

alter table test.user2 partition (age = 101) set location '/user/hive/warehouse/test.db/user2/part-0000110'

刪除分割槽命令格式是alter table tableName drop if exists partition(...)

alter table test.user2 drop if exists partition(age = 101)

5.3 修改列資訊

可以對某個欄位進行重新命名，並修改位置、型別或者註釋：

修改前：

hive> desc user_log;
OK
userid              	string              	                    
time                	string              	                    
url                 	string

修改列名time為times，並且使用after把位置放到url之後，本來是在之前的。

alter table test.user_log
change column time times string
comment 'salaries'
after url;

再來看錶結構：

hive> desc user_log;
OK
userid              	string              	                    
url                 	string              	                    
times               	string              	salaries

time -> times，位置在url之後。

5.4 增加列

hive也是可以新增列的：

alter table test.user2 add columns (
birth date comment '生日',
hobby string comment '愛好'
);

5.5 刪除列

刪除列不是指定列刪除，需要把原有所有列寫一遍，要刪除的列排除掉即可：

hive> desc test.user3;
OK
name                	string              	name                
salary              	float               	salary              
address             	struct<country:string,city:string>	home address        
age                 	int                 	                    
	 	 
# Partition Information	 	 
# col_name            	data_type           	comment             
	 	 
age                 	int

如果要刪除列salary，只需要這樣寫：

alter table test.user3 replace columns(
name string,
address struct<country:string,city:string>
);

這裡會報錯：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Replacing columns cannot drop columns for table test.user3. SerDe may be incompatible

這張test.user3表是orc格式的，不支援刪除，如果是textfile格式，上面這種replace寫法是可以刪除列的。通常情況下不會輕易去刪除列的，增加列倒是常見。

5.6 修改表的屬性

可以增加附加的表屬性，或者修改屬性，但是無法刪除屬性：

alter table tableName set tblproperties(
    'key' = 'value'
);

舉例：這裡新建一張表：

create table t8(time string,country string,province string,city string)
row format delimited fields terminated by '#' 
lines terminated by '\n' 
stored as textfile;

這條語句將t8表中的欄位分隔符’#‘修改成’\t’;

alter table t8 set serdepropertyes('field.delim'='\t');

6 其他操作

6.1. 查看錶

檢視當前資料庫下的全部標

show tables；

檢視特定庫下的全部表

 show tables in ods;

按正條件（正則表示式）顯示錶

 SHOW TABLES '.*s';

6.2 load 資料

這個一般用於我們載入一下其他地方的資料到hive 表中，例如外部的文字資料、或者是埋點資料

create table ods.user_info (
    user_id int,
    cid string,
    ckid string,
    username string)
    row format delimited
    fields terminated by '\t'
    lines terminated by '\n';

匯入本地資料

load data local inpath '/Users/liuwenqiang/workspace/hive/user.txt' overwrite into table ods.user_info

下面是資料，匯入資料表的資料格式是：欄位之間是tab鍵分割，行之間是換行。

100636	100890	c5c86f4cddc15eb7	王1
100612	100865	97cc70d411c18b6f	王2
100078	100087	ecd6026a15ffddf5	王

匯入HDFS資料

去掉local 關鍵字就可以了，但是注意匯入HDFS 上的資料是move 操作，而本地是copy 操作

load data inpath '/Users/liuwenqiang/workspace/hive/user.txt' overwrite into table ods.user_info

其實很多時候你不用load 命令也可以，只要你將準備好的資料放到對應的表目錄下就可以了，對於本地檔案可以使用 hdfd dfs -put 對於叢集上的檔案使用hdfs dfs -mv

相關推薦

數倉工具—Hive表的基本操作(3)

技術標籤：資料倉庫Hivehive 1. 建立表 create table語句遵從sql語法習慣，只不過Hive的語法更靈活。例如，可以定義表的資料檔案儲存位置，使用的儲存格式等。

數倉工具—Hive複合資料型別(9)

技術標籤：Hive資料倉庫大資料hive資料倉庫面試 複合資料型別 除了使用string之外的基礎資料型別，Hive中的列支援使用struct, map, array，union_type 等複合資料型別。

數倉工具—Hive實戰之UDF分詞(1)

技術標籤：資料倉庫Hivehive大資料資料倉庫面試 UDF 分詞 分詞 這個是一個比較常見的場景，例如公司的產品有每天都會產生大量的彈幕或者評論，這個時候我們可能會想去分析一下大家最關心的熱點話題是什麼，或者是

數倉工具—Hive語法之視窗函式練習和總結(15)

技術標籤：資料倉庫Hivehive大資料資料倉庫面試 視窗函式練習 視窗函式其實日常中用的是比較多的，加上之前我們分別介紹了各個視窗函式，今天我們就練習和總結一下

hive常用基本操作(同步表，建立檢視，修復元資料metastore)

1，建立（外部）表： CREATE EXTERNAL TABLE `hive_user_reader`( `read_src` string COMMENT \'閱讀來源\',

MySQL資料表基本操作{記錄3}{修改表}{刪除表}

修改資料表:用ALTER TABLE語句 語法為 ALTER TABLE 表名 修改選項 1,新增欄位{在開頭} {在中間}[在末尾}

oracle處理鎖表基本操作

查詢鎖表 select object_name,machine,s.sid,s.serial# from v$locked_object l,dba_objects o,v$session s

MySQL資料表基本操作例項詳解

本文例項講述了MySQL資料表基本操作。分享給大家供大家參考，具體如下： 資料表的基本操作

Hive的基本操作

1、強制刪除資料庫：　 通常情況下資料庫中有表是不能刪除的，強制刪除資料庫使用“cascade”。如強制刪除資料庫“test”drop database test cascade;

單鏈表基本操作

單鏈表基本操作 複習資料結構時手撕的單鏈表基本操作,我覺得需要注意的地方，我都寫在了註釋裡了。

C、C++線性表基本操作的詳細介紹

前言 線性表包括兩部分順序表和連結串列，是資料結構的基礎，在此主要就演算法進行分析和總結，作為記憶瞭解，未做具體實現。

C語言單鏈表基本操作總結

連結串列是一種常見的資料結構。它與常見的陣列是不同的，使用陣列時先要指定陣列包含元素的個數，即為陣列的長度，但是如果向這個陣列中加入的元素超過了陣列的大小時，便不能將內容全部儲存。連結串列這種儲存方式

Day01 -資料庫和表基本操作1

課程介紹: 　　劉國斌 QQ: 77331283 資料庫: 學習如何對資料進行增刪改查 4 Web前端: 學習如何開發頁面 7

Day01__線性表基本操作內容

線性表基本操作 InitList(&L)（Initialization List） 操作結果：構成一個空的線性表L。

數倉建模—寬表的設計

寬表的設計 其實寬表是數倉裡面非常重要的一塊，前面我們介紹過了維度表事實表，今天我們介紹一下寬表，前面我們說過了數倉是分層的，這是技術進步和時代變化相結合的產物，數倉的分層式為了更好地管理數倉以及更加

【大資料面試】【數倉專案】其他知識點：行為數倉、業務數倉、拉鍊表、即席查詢

一、使用者行為數倉. 1、數倉分層架構圖要會畫 2、埋點行為資料基本格式(基本欄位)

3.Spark設計與執行原理，基本操作 3.Spark設計與執行原理，基本操作

3.Spark設計與執行原理，基本操作   1.Spark已打造出結構一體化、功能多樣化的大資料生態系統，請用圖文闡述Spark生態系統的組成及各元件的功能。

MySQL資料表基本操作{記錄2}{建立資料表}

1,建立資料表：使用CREATE TABLE語句 CREATE TABLE 表名 ( 列名 列型別 欄位屬性, 列名 列型別 欄位屬性,

資料結構順序表基本操作 C++

#include<stdio.h> #define MAXSIZE 10 //預設的最大長度 //順序表型別定義 typedef struct

Hive數倉建表該選用ORC還是Parquet，壓縮選LZO還是Snappy？

在數倉中，建議大家除了介面表(從其他資料庫匯入或者是最後要匯出到其他資料庫的表)，其餘表的儲存格式與壓縮格式保持一致。