1.Hive 分割槽partition

必須在表定義時指定對應的partition欄位 a、單分割槽建表語句：

create table day_table (id int, content string) partitioned by (dt string);

單分割槽表，按天分割槽，在表結構中存在id，content，dt三列。 以dt為資料夾區分 b、 雙分割槽建表語句：

create table day_hour_table (id int, content string) partitioned by (dt string, hour string);

雙分割槽表，按天和小時分割槽，在表結構中新增加了dt和hour兩列。 先以dt為資料夾，再以hour子資料夾區分  

2.建立2個表psn2 psn3

create table psn2 (
id int,
name string,
hobby array<string>,
address map<string,string>
)
partitioned by (age int)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED 
 
BY '-'
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n';

 

3.插入資料

load data local inpath '/root/data' into table psn2 partition (age=10);

4.查詢psn2

hive> select * from psn2;
OK
1    小明1    ["lol","book","movie"]    {"beijing":"changping","shanghai":"pudong"}    10
 

2    小明2    ["lol","book","movie"]    {"beijing":"changping","shanghai":"pudong"}    10
3    小明3    ["lol","book","movie"]    {"beijing":"changping","shanghai":"pudong"}    10
4    小明4    ["lol","book","movie"]    {"beijing":"changping","shanghai":"pudong"}    10
5    小明5    ["lol","movie"]    {"beijing":"changping","shanghai":"pudong"}    10
6    小明6    ["lol","book","movie"]    {"beijing":"changping","shanghai":"pudong"}    10
7    小明7    ["lol","book"]    {"beijing":"changping","shanghai":"pudong"}    10
8    小明8    ["lol","book"]    {"beijing":"changping","shanghai":"pudong"}    10
9    小明9    ["lol","book","movie"]    {"beijing":"changping","shanghai":"pudong"}    10
Time taken: 7.93 seconds, Fetched: 9 row(s)

理論上分割槽可以無限分，但是實際需要根據需求來分割槽。 如：歷史資料按天分割槽  

5.錯誤例項psn3

create table psn3 (
id int,
name string,
age int,
hobby array<string>,
address map<string,string>
)
partitioned by (age int)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '-'
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n';

報錯提示：FAILED: SemanticException [Error 10035]: Column repeated in partitioning columns 原因：分割槽欄位不能再表的列中  

6.同時建立兩個分割槽

create table psn3 (
id int,
name string,
hobby array<string>,
address map<string,string>
)
partitioned by (age int,sex string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '-'
MAP KEYS TERMINATED BY ': 
 

            
  
           

              
              
            
            
相關推薦
			   
            
            
            
 

    

    
    
hive學習(三) hive的分割槽
     
 1.Hive 分割槽partition 

 必須在表定義時指定對應的partition欄位
 

 a、單分割槽建表語句：
 
 
  
  create table day_table (id int, content string) partitioned by (dt string); 
  
 

 

  
 

    

    
    
Hive學習(三)操作Hive的方式及優化
     
  
  
  
 
 
  Hive
  
   一、操作Hive的兩種方式
   
    1、通過Beenline
    2、通過JDBC
   
   二、Hive的優化
   
    1、Hive優化的思想：
    2、優化的方式
    
     (1)開啟本地模式
     (2)開啟平行 

  
 

    

    
    
Hive學習(一)Hive的三種搭建方式
     
  
  
  
 
 
  Hive三種搭建方式
  
   
    一、本地模式(derby)
    二、基於Mysql的本地模式
    三、基於Mysql的遠端模式
   
  
 
  
 1、解壓apache-hive-1.2.1-bin.tar.gz 
 tar -zxvf apache-hi 

  
 

    

    
    
Hive學習筆記 --- Hive中建立分割槽表，並且查詢資料
     
 
        
wechat:812716131

------------------------------------------------------

技術交流群請聯絡上面wechat

---------------------------------------------- 

  
 

    

    
    
Hive學習筆記 --- Hive建立分割槽表
     
 
        
wechat:812716131

------------------------------------------------------

技術交流群請聯絡上面wechat

---------------------------------------------- 

  
 

    

    
    
hive學習-------初始hive
     
  
 
  
  
 hive 
 資料倉庫： OLAP ,分析處理，儲存和分析，延遲高。
資料庫； OLTP，線上事務處理，低延遲，支援事務。
執行在hadoop之上，類SQL方法執行，Sql（hiveQL，Hql）,MR運算。
操作的是結果化資料。
schema（模式 ，元資訊資料庫中），底層是HDFS檔 

  
 

    

    
    
Hive學習之Hive資料型別
     
 
                
Hive到0.13.0版本為止已經支援越來越多的資料型別，像傳統資料庫中的VCHAR、CHAR、DATE以及所特有的複合型別MAP、STRUCT等。Hive中的資料型別可以分為數值型別、字串型別、日期時間型別、複合型別以及其它型別，下面分別予以介紹。
數值型別
       

  
 

    

    
    
Hive學習之路 （三）Hive元數據信息對應MySQL數據庫表
     
 需要   pri   from   metastore   node   rom   lazy   測試   安裝   概述
Hive 的元數據信息通常存儲在關系型數據庫中，常用MySQL數據庫作為元數據庫管理。上一篇hive的安裝也是將元數據信息存放在MySQL數據庫中。
Hive的元數據信息在MySQ 

  
 

    

    
    
Hive學習之路 （十五）Hive分析窗口函數(三) CUME_DIST和PERCENT_RANK
     
 select   rank   com   ble   class   mina   src   format   ()    這兩個序列分析函數不是很常用，這裏也練習一下。
數據準備
數據格式
cookie3.txt

d1,user1,1000
d1,user2,2000
d1,user3, 

  
 

    

    
    
大資料學習系列——HIVE學習分割槽
     
 
                分割槽查詢

Hive查詢執行分割槽語法
SELECT day_table.* FROM day_table WHERE day_table.dt>= '2008-08-08';

分割槽表的意義在於優化查詢。查詢時儘量利用分割槽欄位。如果不使用分割槽欄位，就會全部掃描 

  
 

    

    
    
Hive學習之修改表、分割槽、列
     
 
                

修改表的語句允許改變現有表的結構，通過該語句可以增加列/分割槽，修改SerDe，增加表和SerDe的屬性或者重命名錶。與之類似，修改分割槽的語句可以改變指定分割槽的屬性。

重命名錶

重命名錶的語句如下：

ALTER TABLE table_name RENAME T 

  
 

    

    
    
Hive學習筆記（三）與資料庫有關的HiveQL語句
     
 
							
							
							1.建立資料庫：



CREATE DATABASE mydb;

如果資料庫mydb已經存在的話，那麼將會丟擲一個錯誤資訊。使用如下語句可以避免這種情況下丟擲錯誤資訊:



CREATE DATABASE IF NOT EXISTS mydb; 

當我們 

  
 

    

    
    
Hive筆記三之內部表,外部表,分割槽表,桶表
     
 
                
內部表
也稱為受控表，表中的資料受表定義影響，表刪除後表中資料隨之刪除。在COLUMNS_V2表中TBL_TYPE顯示為MANAGED_TABLE




表刪除後實際上是從hdfs上將t1目錄移到回收站中，另外刪除TBLS表中的表定義資訊
hive> drop ta 

  
 

    

    
    
Hive學習 （三）Hive的連線三種連線方式
     
 
                目錄一、CLI連線二、HiveServer2/beeline    1、修改 hadoop 叢集的 hdfs-site.xml 配置檔案    2、修改 hadoop 叢集的 core-site.xml 配置檔案三、Web UI正文：一、CLI連線進入到 bin 目錄下，直接 

  
 

    

    
    
【Hive學習之三】Hive 函數
     
 mss   ado   整數   算術運算   大於   stc   view   年月日   return   環境　　虛擬機：VMware 10 　　Linux版本：CentOS-6.5-x86_64 　　客戶端：Xshell4　　FTP：Xftp4　　jdk8　　hadoop-3.1.1　　apache 

  
 

    

    
    
hive學習路線
     
 ext   mark   hive   分享   hive學習   clas   線圖   mar   log   

hive學習路線圖：


   
hive學習路線 

  
 

    

    
    
十二、Hadoop學習筆記————Hive的基本原理
     
 中介   優化   prop   指示   使用   計劃分解   分享   ges   歷史數據   
一般用戶用CLI（命令行界面）接口，元數據庫含有表結構
 
單用戶、多用戶、遠程服務

生成db文件，只能單客戶端使用數據庫


多用戶是最常用的使用模式


配置與多用戶一致



數據格式用戶自定義
 

  
 

    

    
    
Hive 學習
     
 rmi   vax   tail   pan   ive   XML   數據   mys   一行   在 hive-site.xml 中配置元數據存儲。這裏使用了 http://blog.csdn.net/reesun/article/details/8556078 中提到的一種方式。

<prop 

  
 

    

    
    
Hive學習之路 （二）Hive安裝
     
 different   0.10   director   lar   blog   cut   cti   mysql   extend   Hive的下載
下載地址http://mirrors.hust.edu.cn/apache/
選擇合適的Hive版本進行下載，進到stable-2文件夾可以看到穩 

  
 

    

    
    
Hive學習之路 （一）Hive初識
     
 完成   優化   ble   缺點   ase   適合   table   vol   利用   Hive 簡介
什麽是Hive
1、Hive 由 Facebook 實現並開源
2、是基於 Hadoop 的一個數據倉庫工具
3、可以將結構化的數據映射為一張數據庫表
4、並提供 HQL(Hive