2. 程式人生 > >獲取hive建表語句

獲取hive建表語句

阿新 • • 發佈：2019-01-11

在使用hive進行開發時，我們往往需要獲得一個已存在hive表的建表語句(DDL),然而hive本身並沒有提供這樣一個工具。

要想還原建表DDL就必須從元資料入手，我們知道，hive的元資料並不存放在hdfs上，而是存放在傳統的RDBMS中，典型的如mysql，derby等，這裡我們以mysql為元資料庫，結合0.4.2版本的hive為例進行研究。

連線上mysql後可以看到hive元資料對應的表約有20個，其中和表結構資訊有關的有9張，其餘的10多張或為空，或只有簡單的幾條記錄，以下是部分主要表的簡要說明。

表名 說明 關聯鍵
TBLS 所有hive表的基本資訊 TBL_ID,SD_ID
TABLE_PARAM 表級屬性，如是否外部表，表註釋等 TBL_ID
COLUMNS Hive表字段資訊(欄位註釋，欄位名，欄位型別，欄位序號) SD_ID
SDS 所有hive表、表分割槽所對應的hdfs資料目錄和資料格式 SD_ID,SERDE_ID
SERDE_PARAM 序列化反序列化資訊，如行分隔符、列分隔符、NULL的表示字元等 SERDE_ID
PARTITIONS Hive表分割槽資訊 PART_ID,SD_ID,TBL_ID
PARTITION_KEYS Hive分割槽表分割槽鍵 TBL_ID
PARTITION_KEY_VALS Hive表分割槽名(鍵值) PART_ID

除了上面幾張表外，還有兩張表非常有趣:NUCLEUS_TABLES和SEQUENCE_TABLE

  • NUCLEUS_TABLES表中儲存了元資料表和hive中class類的對應關係，如’org.apache.hadoop.hive.metastore.model.MTable’, ‘`TBLS`’，說明MTable類對應了元資料的TBLS表，不難想象當我們建立一張表時，hive一定會通過MTable的DAO模式向TBLS插入一條資料用來描述剛剛建立的hive表。NUCLEUS_TABLES表內現在共有17條這樣的記錄。
  • SEQUENCE_TABLE表儲存了hive物件的下一個可用ID，如’org.apache.hadoop.hive.metastore.model.MTable’, 271786，則下一個新建立的hive表其TBL_ID就是271786，同時SEQUENCE_TABLE表中271786被更新為271791(這裡每次都是+5而不是預料中的+1，有些奇怪)。同樣，COLUMN，PARTITION等都有相應的記錄。

從上面兩張表的內容來看，hive表建立表的過程已經比較清楚了

  1. 解析使用者提交hive語句，對其進行解析，分解為表、欄位、分割槽等hive物件
  2. 根據解析到的資訊構建對應的表、欄位、分割槽等物件，從SEQUENCE_TABLE中獲取構建物件的最新ID，與構建物件資訊(名稱，型別等)一同通過DAO方法寫入到元資料表中去，成功後將SEQUENCE_TABLE中對應的最新ID+5。

實際上我們常見的RDBMS都是通過這種方法進行組織的，典型的如postgresql，其系統表中和hive元資料一樣裸露了這些id資訊(oid,cid等),而Oracle等商業化的系統則隱藏了這些具體的ID。

有了上面的資訊，再想獲得hive的建表語句已經是易如反掌了，這裡提供一個已經開發好的指令碼，使用shell開發，大家可以自由修改。注意:其中mysql連線資訊請根據實際環境進行配置。

點選下載

使用方法如下:

  • hivesql sql   <table|file>         —  獲取指定hive表或指定檔案中所有hive表的DDL，如果有按天的分割槽則預設執行最近7天的分割槽DDL。同時，table支援符合sql語法的正則表示式，如果有多個表匹配，則提示使用者選擇(使用file則自動關閉該互動功能)。
  • hivesql synctab <table|file>  — 基本同上，但是會將得到的DDL提交到當前的hive環境，可用來在不同的hive環境中複製表結構。

如果需要多天分割槽DDL還可以這樣用(前提是分割槽中含有日期資訊，如pt=20100720):

  • hivesql sql s_table 20100702                      — 除建表語句外，獲得自20100702以來的分割槽DDL
  • hivesql sql s_table 20100702 20100725  — ………………………..自20100702-20100725的分割槽DDL
  • hivesql sql s_table 20100702 10                 — ………………………..自20100702起10天的分割槽DDL

hivesql synctab和hivesql sql一樣支援上述日期限定功能。

此外，還提供了兩個附加的功能(也很有用呃)

  • hivesql loc <reg>             —  根據關鍵字查詢能夠匹配到的hive表或對應的資料路徑
  • hivesql hdfswc  <hdfsdir>  — 獲取指定資料目錄下所有資料的總行數，支援普通文字，TextFile和SequenceFile的壓縮格式，類似於linux下的wc -l

相關推薦

獲取hive建表語句

在使用hive進行開發時，我們往往需要獲得一個已存在hive表的建表語句(DDL),然而hive本身並沒有提供這樣一個工具。 要想還原建表DDL就必須從元資料入手，我們知道，hive的元資料並不存放在hdfs上，而是存放在傳統的RDBMS中，典型的如mysql，derby等，這裡我們以mysql為元資料

各種數據格式的Hive建表語句

大數據 Hive Xml格式 CREATE EXTERNAL TABLE Gateway_pmsarisoap( BookingSoapLogID STRING,? GuidNo STRING,? SoapType STRING,? SoapContent STRING,? InsertDate

在Oracle、MySQL中執行sql指令碼生成hive建表語句

python3指令碼： #mysql for i in range(len(table_name)): sql1 = """SELECT CONCAT('create table ','%s','(') UNION ALL SELECT CONCAT(

hive建表語句

----匯入hdfs建表 use ods_db;CREATE EXTERNAL TABLE BER_O2O_PV(JSON STRING)PARTITIONEDBY(YEARSTRING,MONTHSTRING)STORED AS TEXTFILELOCATION '/ODS/ODS_DB/BER_O2O_

hive中執行hql或建表語句時，丟擲Display all 459 possibilities? (y or n)錯誤的解決方法

　　我昨天在hive上建表，一直報Display all 459 possibilities? (y or n) ，之前我以為是建表語句有問題，一直在改語句，後來在網上搜這個錯誤，原來語句裡混雜了Tab縮排，這可能是我使用notepad++的時候打出來的；       解決

【Python】desc獲取表結構建立oracle 建表語句

由於某些oracle系統許可權管理的特別嚴格，或者某些表或檢視由多張表組成， 從而導致獲取建表語句十分困難或者根本不可能，只能通過sqlplus連線到oracle， 只能通過desc命令獲取簡單的表結構。如下圖這樣： 複製到文字檔案後是這樣的： 對於數量較少的

hive表資訊查詢：查看錶結構、表操作、建表語句

問題導讀： 1.如何檢視hive表結構？ 2.如何查看錶結構資訊？ 3.如何檢視分割槽資訊？4.哪個命令可以模糊搜尋表 28.怎麼查詢建立表語句 1.hive模糊搜尋表   show tables like '*name*'; 2.查看錶結構資訊   desc forma

從Navicat匯出oracle建表語句，應用sqoop將oracle中的表資料匯入到hive

                            ORACLE庫的操作首先選擇navicat作為這個檔案的工具，作為資料庫表結構的匯入和匯出工具。  匯出的時候 會連結構和資料都匯出來，會形成一個sql檔案  也可以只倒檢視或者表都可以的。但是以匯出的這個檔案匯入的時候

建表語句

btree cover comment name recovery 時間 地址 urn table CREATE TABLE `deliver_order` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMEN

mysql的建表語句

status 更新 sql div amp time creat prim tiny CREATE TABLE `delivery_id_pool` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT ‘自增id‘,

4-20 mysql 整理 （建表語句和mysql命令）

AC comment 如果 進入 username -s ID alter ase create table [if not exists] 表名( 字段1 數據類型 [約束或索引列表]， 字段2 數據類型 [約束或索引列表]) [表選項列表];#虛擬表的概

pyhon通過讀取excel的表結構資料，形成建表語句

excel中需要包含：第一列為欄位名稱，第二列為欄位型別，第三列為欄位長度，第四列為是否為主鍵利用Y/N區分 import xlrd import os def convert_type(data_type): """Normalize MySQL `data_type`"""

Navicat Premium檢視建表語句(DDL)

                         

sqlserver2008r2建表語句

USE [master] GO DROP DATABASE [mydata] GO CREATE DATABASE [mydata] GO USE [mydata] GO CREATE TABLE [dbo].[t_user] (     [id] [int] IDENTIT

Oracle常用建表語句

欄位型別： 名稱：SERIES_NAME VARCHAR2(200) 數字：ONWAY NUMBER 標識：FLAG NUMBER(1) 日期：DATE_DAY VARCHAR2(20) create table CUSTOMER_COUNT ( UPDATE_DATE DATE

如何獲取hive建表語句（轉載）

說明：本文轉載自http://www.imphrack.com/?p=21  DWer 謝謝原創作者分享！ 該指令碼是基於hive0.4.2版本，現在最新的0.8.1版本 hive元資料庫已經有過些許改變。 需要要將指令碼中表名COLUMNS修改為COL

sql必知必會第四版建表語句

看sql必知必會，苦於沒有相關的表進行練習，網上查詢，解決了問題，將內容整理如下： cmd登陸mysql（我使用的是xampp自帶的mysql，無法直接在cmd開啟，因需要提前將xampp底下mysql的bin目錄的絕對路徑加入到path環境變數中，然後進入cmd，輸入my

sqlserver建表語句

USE [master] GO DROP DATABASE [mydata] GO CREATE DATABASE [mydata] GO USE [mydata] GO CREATE TABLE [d

通過資料字典excel檔案在oracle等資料庫中生成Hive建表指令碼

業務場景：從一個系統庫裡查詢得到資料表的資料字典，該資料字典包含表名，表中文名，列名，列中文名，列資料型別，對映情況等欄位，那麼如何通過該資料字典excle(其他類檔案如csv等也可以)檔案生成建表指令碼呢？ 一、把excel檔案資料傳輸到ORACLE資料庫 在ORACLE庫需要建兩張主

hive建表(一)建立外部表

未被external修飾的是內部表（managed table），被external修飾的為外部表（external table）；  區別： 內部表資料由Hive自身管理，外部表資料由HDFS管理；  內部表資料儲存的位置是hive.metastore.warehou