2. 程式人生 > >06-Hive表屬性操作

06-Hive表屬性操作

阿新 • • 發佈：2018-12-05

大家好！砸門又又又又見面了。我再自我介紹一下哈，我長得比較帥，帥到哭的那種。
呵呵，開玩笑。這世界上，唯獨美人和大資料不可辜負。好好學大資料技術，技多不壓身。越學人就越帥，你說是吧？言歸正傳，今天要做的實驗是Hive表屬性操作。
表屬性有啥？表名稱、增加列，修改列呀！

修改表名alter table table_name rename to new_table_name;

修改列名alter table tablename change column c1 c2 int comment 'xxxxx' after severity;//可以把該列放到指定列的後面，或者使用‘first’放到第一位

增加列alter table tablename add columns(c1 string comment 'xxxx',c2 long comment 'yyyyyy')

1 砸門還是來實戰一下，照著這個程式碼敲就可以練個七七八八：

hive> create table testchange(
    > name string,value string
    > );
OK
Time taken: 0.085 seconds
hive> alter table testchange rename to test;
OK
Time taken: 0.478
 
 seconds
hive>

來，還是要檢查一下：

hive> desc test;
OK
name    string  
value   string  
Time taken: 0.381 seconds
hive>

把test表增加兩個列type,col

hive> alter table test add columns(type string,col int comment 'xielaoshi');
OK
Time taken: 0.13 seconds
hive> desc test;
OK
name    string  
value   string
 
  
type    string  
col int xielaoshi
Time taken: 0.235 seconds
hive>

還可以這樣玩，把type列調到name後面：

hive> alter table test change column type type string after name; 
OK
Time taken: 0.161 seconds
hive> desc test;                                                  
OK
name    string  
type    string  
value   string  
col int xielaoshi
Time taken: 0.156 seconds
hive>

還可以這樣玩，把type放在第一列：

hive> alter table test change column type type string first;
OK
Time taken: 0.113 seconds
hive> desc test;                                            
OK
type    string  
name    string  
value   string  
col int xielaoshi
Time taken: 0.149 seconds
hive> desc formatted test;

好不好玩？好玩吧？其實學技術就是要自己把自己逗樂，就有趣了！
2 修改tblproperties

hive> alter table test set tblproperties('comment'='xxxxx');
OK
Time taken: 0.122 seconds
hive> desc formatted test;                                  
OK
# col_name              data_type               comment             

type                    string                  None                
name                    string                  None                
value                   string                  None                
col                     int                     xielaoshi           

# Detailed Table Information         
Database:               default                  
Owner:                  root                     
CreateTime:             Thu Jun 02 06:20:43 PDT 2016     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://hadoop1:9000/user/hive/warehouse/test     
Table Type:             MANAGED_TABLE            
Table Parameters:        
    comment                 xxxxx               
    last_modified_by        root                
    last_modified_time      1464874178          
    transient_lastDdlTime   1464874178          

# Storage Information        
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe   
InputFormat:            org.apache.hadoop.mapred.TextInputFormat     
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat   
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:         
    serialization.format    1                   
Time taken: 0.14 seconds
hive>

其實這就改了表的描述資訊。so easy！
3 修改serdeproperties 。serde是序列化和反序列化。究竟什麼是序列化什麼是發序列化？
額外補充：序列化就是指將結構化物件 （例項） 轉化為位元組流 （字元陣列）。反序列化就是將位元組流轉向結構化物件的逆過程。 於是，如果想把“活的”物件儲存到檔案，儲存這串位元組即可，如果想把“活的”物件傳送到遠端主機，傳送這串位元組即可，需要物件的時候，做一下反序列化，就能將物件“復活”了。
將物件序列化儲存到檔案，術語又叫“持久化”。將物件序列化傳送到遠端計算機，術語又叫“資料通訊”。
其實不難理解吧，讓我想想有什麼好的比喻來說明？其實就好比你打電話給你爸媽，要把聲音轉換成電訊號（序列化），到了你爸媽那裡又轉換成聲音（反序列化）。
因為Hadoop在叢集之間進行通訊或者RPC呼叫的時候，需要序列化，而且要求序列化要快，且體積要小，佔用頻寬要小。所以必須理解Hadoop的序列化機制。
Hive底層是hadoop，序列化對hadoop很重要。有多重要？
Hadoop中各個節點的通訊是通過遠端呼叫（RPC）實現的：程序通訊和永久儲存。，所以序列化和反序列化在分散式資料處理領域經常出現然而，那麼 RPC序列化要求具有以下特點：

    1. 緊湊：緊湊的格式能讓我們能充分利用網路頻寬，而頻寬是資料中心最稀缺的資源；
    2. 快速：程序通訊形成了分散式系統的骨架，所以需要儘量減少序列化和反序列化的效能開銷，這是基本的；
    3. 可擴充套件：協議為了滿足新的需求變化，所以控制客戶端和伺服器過程中，需要直接引進相應的協議，這些是新協議，原序列化方式能支援新的協議報文；
    4. 互操作：能支援不同語言寫的客戶端和服務端進行互動；

好，不囉嗦了。serdeproperties的修改針對有分割槽有無分割槽是不同的。
無分割槽：

alter table table_name set serdeproperties('field.delim'='\t');

有分割槽是啥情況呢？

alter table test partition(dt=' xxxxx') set serdeproperties('field.delim'='\t');

為什麼要這麼修改？其實道理很簡單，有些資料就是格式不符合你的統計分析，刪除又是不可能，所以只能修改。
呵呵，還是來點實際的比較好：

hive> create table city(
    > time string,
    > country string,
    > province string,
    > city string)
    > row format delimited fields terminated by '#' 
    > lines terminated by '\n'
    > stored as textfile;
OK
Time taken: 0.111 seconds
hive>

載入點資料玩玩：

hive> load data local inpath '/usr/host/city' into table city;
Copying data from file:/usr/host/city
Copying file: file:/usr/host/city
Loading data to table default.city
OK
Time taken: 0.426 seconds
hive> select * from city;
OK
20130829234535  china   henan   nanyang NULL    NULL    NULL
20130829234536  china   henan   xinyang NULL    NULL    NULL
20130829234537  china   beijing beijing NULL    NULL    NULL
20130829234538  china   jiang   susuzhou    NULL    NULL    NULL
20130829234539  china   hubei   wuhan   NULL    NULL    NULL
20130829234540  china   sandong weizhi  NULL    NULL    NULL
20130829234541  china   hebei   shijiazhuang    NULL    NULL    NULL
20130829234542  china   neimeng eeduosi NULL    NULL    NULL
20130829234543  china   beijing beijing NULL    NULL    NULL
20130829234544  china   jilin   jilin   NULL    NULL    NULL
Time taken: 0.105 seconds
hive>

是不是不知道我city裡面的資料是啥？可以給你看看喲！

[root@hadoop1 data3]# cd /usr/host/
[root@hadoop1 host]# cat city 
20130829234535  china   henan   nanyang
20130829234536  china   henan   xinyang
20130829234537  china   beijing beijing
20130829234538  china   jiang   susuzhou
20130829234539  china   hubei   wuhan
20130829234540  china   sandong weizhi
20130829234541  china   hebei   shijiazhuang
20130829234542  china   neimeng eeduosi
20130829234543  china   beijing beijing
20130829234544  china   jilin   jilin
[root@hadoop1 host]#

神奇吧，但是問題來了。下面的資料整整齊齊，上面的資料怎麼那麼多null?看官，不著急，我先喝口水。
好，其實我下面的資料欄位之間是用‘\t’製表符分隔的，我上面的欄位是用‘#’分隔的。那麼hive會找‘#’，沒找到就把所有的資料當做第一個欄位，後面三個欄位用null補上。明白了嗎？沒明白，加我微信xiehuadong1，語音交流。
不信，你瞧瞧：

hive> desc formatted city;                                      
OK
# col_name              data_type               comment             

time                    string                  None                
country                 string                  None                
province                string                  None                
city                    string                  None                

# Detailed Table Information         
Database:               default                  
Owner:                  root                     
CreateTime:             Thu Jun 02 06:43:57 PDT 2016     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://hadoop1:9000/user/hive/warehouse/city     
Table Type:             MANAGED_TABLE            
Table Parameters:        
    transient_lastDdlTime   1464875117          

# Storage Information        
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe   
InputFormat:            org.apache.hadoop.mapred.TextInputFormat     
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat   
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:         
    field.delim             #                   
    line.delim              \n                  
    serialization.format    #                   
Time taken: 0.132 seconds
hive>

“field.delim # ” 看到了吧，那我們來修改一下：把#分隔符改為\t

hive> alter table city set serdeproperties('field.delim'='\t');
OK
Time taken: 0.118 seconds
hive> select * from city;
OK
20130829234535  china   henan   nanyang
20130829234536  china   henan   xinyang
20130829234537  china   beijing beijing
20130829234538  china   jiang   susuzhou
20130829234539  china   hubei   wuhan
20130829234540  china   sandong weizhi
20130829234541  china   hebei   shijiazhuang
20130829234542  china   neimeng eeduosi
20130829234543  china   beijing beijing
20130829234544  china   jilin   jilin
Time taken: 0.125 seconds
hive>

接下來我們再建立一個分割槽表city1；

hive> create table city1(
    > time string,
    > country string,
    > province string,
    > city string) partitioned by (dt string)
    > row format delimited fields terminated by '#' 
    > lines terminated by '\n'
    > stored as textfile;
OK
Time taken: 0.046 seconds
hive>

載入資料，查詢，檢視描述資訊：

hive> load data local inpath '/usr/host/city' into table city1 partition(dt='20160519');
Copying data from file:/usr/host/city
Copying file: file:/usr/host/city
Loading data to table default.city1 partition (dt=20160519)
OK
Time taken: 0.189 seconds
hive> select * from city1;
OK
20130829234535  china   henan   nanyang NULL    NULL    NULL    20160519
20130829234536  china   henan   xinyang NULL    NULL    NULL    20160519
20130829234537  china   beijing beijing NULL    NULL    NULL    20160519
20130829234538  china   jiang   susuzhou    NULL    NULL    NULL    20160519
20130829234539  china   hubei   wuhan   NULL    NULL    NULL    20160519
20130829234540  china   sandong weizhi  NULL    NULL    NULL    20160519
20130829234541  china   hebei   shijiazhuang    NULL    NULL    NULL    20160519
20130829234542  china   neimeng eeduosi NULL    NULL    NULL    20160519
20130829234543  china   beijing beijing NULL    NULL    NULL    20160519
20130829234544  china   jilin   jilin   NULL    NULL    NULL    20160519
Time taken: 0.083 seconds
hive> desc formatted city1;
OK
# col_name              data_type               comment             

time                    string                  None                
country                 string                  None                
province                string                  None                
city                    string                  None                

# Partition Information      
# col_name              data_type               comment             

dt                      string                  None                

# Detailed Table Information         
Database:               default                  
Owner:                  root                     
CreateTime:             Thu Jun 02 06:55:56 PDT 2016     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://hadoop1:9000/user/hive/warehouse/city1    
Table Type:             MANAGED_TABLE            
Table Parameters:        
    transient_lastDdlTime   1464875756          

# Storage Information        
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe   
InputFormat:            org.apache.hadoop.mapred.TextInputFormat     
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat   
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:         
    field.delim             #                   
    line.delim              \n                  
    serialization.format    #                   
Time taken: 0.076 seconds
hive>

把#分隔符改為\t

hive> alter table city1 set serdeproperties('field.delim'='\t');
OK
Time taken: 0.103 seconds
hive>

另一種修改方式

hive> alter table city1 partition(dt='20160519') set serdeproperties('field.delim'='\t');
OK
Time taken: 0.141 seconds
hive> select * from city1;                                                               
OK
20130829234535  china   henan   nanyang 20160519
20130829234536  china   henan   xinyang 20160519
20130829234537  china   beijing beijing 20160519
20130829234538  china   jiang   susuzhou    20160519
20130829234539  china   hubei   wuhan   20160519
20130829234540  china   sandong weizhi  20160519
20130829234541  china   hebei   shijiazhuang    20160519
20130829234542  china   neimeng eeduosi 20160519
20130829234543  china   beijing beijing 20160519
20130829234544  china   jilin   jilin   20160519
Time taken: 0.086 seconds
hive>

多玩玩：

hive> select * from city1 where dt='20160519';
OK
20130829234535  china   henan   nanyang 20160519
20130829234536  china   henan   xinyang 20160519
20130829234537  china   beijing beijing 20160519
20130829234538  china   jiang   susuzhou    20160519
20130829234539  china   hubei   wuhan   20160519
20130829234540  china   sandong weizhi  20160519
20130829234541  china   hebei   shijiazhuang    20160519
20130829234542  china   neimeng eeduosi 20160519
20130829234543  china   beijing beijing 20160519
20130829234544  china   jilin   jilin   20160519
Time taken: 0.579 seconds
hive>

3 修改location
文章有點長，耐心看呀，最後一點點了。

alter table table_name[partition()] set location 'path'
alter table table_name set TBLPROPERTIES('EXTERNAL'='TRUE');//內部錶轉外部表
alter table table_name set TBLPROPERTIES('EXTERNAL'='FALSE');//外部錶轉內部表

例如：

[root@hadoop1 host]# hadoop fs -mkdir /location
[root@hadoop1 host]# hadoop fs -put /usr/host/city /location
[root@hadoop1 host]# hadoop fs -ls /location
Found 1 items
-rw-r--r--   1 root supergroup        359 2016-06-02 07:04 /location/city
[root@hadoop1 host]#

接下來我要把city的location從hdfs://hadoop1:9000/user/hive/warehouse/city 變為hdfs://hadoop1:9000/location

hive> alter table city set location 'hdfs://hadoop1:9000/location';
OK
Time taken: 0.112 seconds

不信你看desc formatted city;

hive> select * from city;
OK
20130829234535  china   henan   nanyang
20130829234536  china   henan   xinyang
20130829234537  china   beijing beijing
20130829234538  china   jiang   susuzhou
20130829234539  china   hubei   wuhan
20130829234540  china   sandong weizhi
20130829234541  china   hebei   shijiazhuang
20130829234542  china   neimeng eeduosi
20130829234543  china   beijing beijing
20130829234544  china   jilin   jilin
Time taken: 0.112 seconds
hive> desc formatted city;                                         
OK
# col_name              data_type               comment             

time                    string                  None                
country                 string                  None                
province                string                  None                
city                    string                  None                

# Detailed Table Information         
Database:               default                  
Owner:                  root                     
CreateTime:             Thu Jun 02 06:43:57 PDT 2016     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://hadoop1:9000/location     
Table Type:             MANAGED_TABLE            
Table Parameters:        
    last_modified_by        root                
    last_modified_time      1464876384          
    transient_lastDdlTime   1464876384          

# Storage Information        
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe   
InputFormat:            org.apache.hadoop.mapred.TextInputFormat     
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat   
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:         
    field.delim             \t                  
    line.delim              \n                  
    serialization.format    #                   
Time taken: 0.078 seconds
hive>

上面的location變了吧。看看刪除這個表時什麼情況

hive> drop table city;
OK
Time taken: 0.122 seconds
hive>

你把city 刪了後，元資料的指定位置的資料就全部都沒有了，因為city是一個MANAGED_TABLE 內部表。
外部表和內部表有啥區別呢？歡迎看官留言！

4 再重新建立一下city;

hive> create table city(
    > time string,
    > country string,
    > province string,
    > city string)
    > row format delimited fields terminated by '#' 
    > lines terminated by '\n'
    > stored as textfile;
OK
Time taken: 1.042 seconds
hive>

當然咯，這時一個內部表。我要把內部表改成外部表：把city表修改成外表

hive> 
    > alter table city set tblproperties('EXTERNAL'='TRUE');
OK
Time taken: 0.184 seconds
hive> desc formatted city;
OK
# col_name              data_type               comment             

time                    string                  None                
country                 string                  None                
province                string                  None                
city                    string                  None                

# Detailed Table Information         
Database:               default                  
Owner:                  root                     
CreateTime:             Thu Jun 02 07:15:20 PDT 2016     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://hadoop1:9000/user/hive/warehouse/city     
Table Type:             EXTERNAL_TABLE           
Table Parameters:        
    EXTERNAL                TRUE                
    last_modified_by        root                
    last_modified_time      1464876990          
    transient_lastDdlTime   1464876990          

# Storage Information        
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe   
InputFormat:            org.apache.hadoop.mapred.TextInputFormat     
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat   
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:         
    field.delim             #                   
    line.delim              \n                  
    serialization.format    #                   
Time taken: 0.296 seconds
hive>

那你說怎麼把外部表改成內部表呀？
執行程式碼：

alter table city set tblproperties('EXTERNAL'='FALSE');
desc formatted city;

好了，今天就到這裡，有點累了，休息一下。如果你看到此文，想進一步學習或者和我溝通，加我微信公眾號：名字：五十年後
see you again!

相關推薦

06-Hive表屬性操作

大家好！砸門又又又又見面了。我再自我介紹一下哈，我長得比較帥，帥到哭的那種。 呵呵，開玩笑。這世界上，唯獨美人和大資料不可辜負。好好學大資料技術，技多不壓身。越學人就越帥，你說是吧？言歸正傳，今天要做的實驗是Hive表屬性操作。 表屬性有啥？表名稱、增加列，修改列呀！ 修改表名a

Hive的表屬性操作

修改表名 alter table table_name rename to new_table_name 增加列 alter table tablename add columns(c1

Hive 表結構操作

comment 修改字段 color alt 名稱 user str exists change 添加列 add columns 　　　　alter table table_name add columns (id int comment ‘主鍵ID‘ ) ; 　　　

Hive表的操作

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(

hive表信息查詢：查看表結構、表操作等--轉

cal ica class depend yun sel getting 結構 dconf 原文地址：http://www.aboutyun.com/forum.PHP?mod=viewthread&tid=8590&highlight=Hive 問題導讀

hive 表的創建的操作與測試

大數據 hadoop hive Hive 中創建表的三種方式，應用場景說明及練習截圖 內部表和外部表的區別，練習截圖 分區表的功能、創建，如何向分區表中加載數據、如何檢索分區表中的數據，練習截圖 一：hive HQL 的表操作： 1.1.1創建數據庫： hive> create

06-Mysql數據庫----表的操作

兩種 插入數據 讀取 在線添加 char 關系 ada 深入 隔離 本節掌握 存儲引擎介紹（了解） 表的增刪改查 一、存儲引擎（了解） 前幾節我們知道mysql中建立的庫===》文件夾，庫中的表====》文件 現實生活中我們用來存儲數據的文件有不同的類型，每種文件類型對

hive表信息查詢：查看表結構、表操作

1.3 xlsx 插入語 表操作 content rar cto get gin hive表信息查詢：查看表結構、表操作 問題導讀：1.如何查看hive表結構？2.如何查看表結構信息？3.如何查看分區信息？4.哪個命令可以模糊搜索表 1.hive模糊搜索

Hive Shell命令之一（資料庫和表的操作）

//資料庫的有關操作 1、如果資料庫不存在的話建立資料庫，預設資料庫default： create database if not exists test; 2、檢視hive中所包含的資料庫： show databases; 3、如果資料庫非常多，可以用正則表示式匹配篩選出需要的資料庫名。 sh

Hive常見屬性和互動操作

常見屬性 Hive資料倉庫位置配置 default /user/hive/warehouse 注意事項 * 在倉庫目錄下，沒有對預設的資料庫default建立資料夾 * 如果某張表屬於default資料庫，直接在資料倉庫目錄下建立一個資料夾 hive.metastore.

Hive表的增刪改、混合操作

增 Hive表增加資料有兩種方式（目前我知道的），分別為load及傳統意義上的insert。 通過load載入資料 命令格式 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TA

Hive概述、內部表、外部表、分割槽表的操作

Hive概述、內部表、外部表、分割槽表的操作 一、Hive概述 　　Hive是基於Hadoop的一個數據倉庫工具。可以將結構化的資料檔案對映為一張資料庫表，並提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行。 　　Hive是建立在 Hadoop 上的資料倉庫

HIVE簡明教程學習筆記（一）——資料庫及表的操作HIVE DDL

1.建立資料庫 create database if not exists aa_db; 2.檢視資料庫定義 describe database aa_db; 3.檢視資料庫列表 show databases; 4.刪除資料庫 drop database if exists testdb casca

大資料（十九）：hive資料庫基本操作與表分類

一、建立資料庫 1.建立一個數據，資料庫在HDFS上的預設儲存路徑是/user/hive/warehouse/*.db create database db_hive; 2.避免建立的資料庫已經存在，增加if not exists create database 

spark sql: 操作hive表

目標： 實現類似於navicat的功能=> 寫hql語句，在idea下使用spark sql 一鍵執行，而不用到shell視窗下執行命令 步驟： 寫sql檔案 (resources目錄)—> 讀取內容 --> 以 ‘;’ 解析每條命令 --

hive表操作

Use dbname;   //庫名 Show tables;   //檢視所有的表 Show partitions 表名;   //檢視分割槽 dt select * from dbName.tableName where id=6784500 and dt='201

Hive資料庫和表DDL操作

一.資料庫 1.建立資料庫 建立一個數據庫，預設儲存路徑在/user/hive/warehouse create database if not exists db_hive 在該資料庫下建立一張表 create table if not e

hive建表的標準格式及其建表屬性詳解1

         Hive建表是學習使用hive的第一步，然後才能基於表對hive資料倉庫進行操作。學習建表前，首先要知道hive表的構建屬性 ，知道哪些屬性是固定的，哪些屬性是可以定製的等等。 一.標準hql建表語法格式 1.官方標準語

hive建表的標準格式及其建表屬性詳解2

建表方式一：demo級建表 hive (fdm_sor)> create table  my_tmp (id int,ids  string ); 檢視建表語句（工作中經常使用的語句） hive (fdm_sor)> show create table

Hive表操作及管理

Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的Ma