2. 程式人生 > >hive元資料庫配置、metadata

hive元資料庫配置、metadata

阿新 • • 發佈：2019-01-10

QQ交流群：335671559,歡迎交流

一、什麼是hive元資料？

hive元資料就是hive的一些基本的元素，主要包括hive表的基本屬性，如下 （1）hive表的資料庫名、表名、欄位名稱與型別、分割槽欄位與型別 （2）表的分割槽，分割槽的屬性location等 （3）serdeproperties, tblproperties等等 可以通過 desc formatted tablename 查看錶有哪些屬性 二、hive預設元資料庫Derby（嵌入模式） hive-default.xml通過如下配置設定
  1.   <name>javax.jdo.option.ConnectionURL</
    name>  
  2.   <value>jdbc:derby:;databaseName=metastore_db;create=true</value>  
  3.   <description>JDBC connect string for a JDBC metastore</description>  
  4. </property>  
  5. <property>  
  6.   <name>javax.jdo.option.ConnectionDriverName</name>  
  7.   <value>org.apache.derby.jdbc.EmbeddedDriver</
    value>  
  8.   <description>Driver class name for a JDBC metastore</description>  
  9. </property>  
    Apache Derby非常小巧，核心部分derby.jar只有2M，所以既可以做為單獨的資料庫伺服器使用，也可以內嵌在應用程式中使用。所以hive採用了Derby作為一個內嵌的元資料庫，可以完成hive安裝的簡單測試。     hive安裝完成之後，就可以在hive shell中執行一些基本的操作，建立表、查詢等等。如果你細心的話，就會發現一個問題：     當在某個目錄下啟動終端，進入hive shell時，hive預設會在當前目錄下生成
一個derby檔案和一個metastore_db目錄，這兩個檔案主要儲存剛剛在shell中操作的一些sql的結果，比如新建的表、新增的分割槽等等 這種儲存方式的帶來弊端     1.在同一個目錄下同時只能有一個hive客戶端能使用資料庫     2.切換目錄啟動新的shell，無法檢視之前建立的表，不能實現表資料的共享 三、使用mysql作為元資料庫     由於使用預設的元資料庫有些弊端，所以採用mysql儲存hive元資料解決上面的問題。hive所有的元資料都儲存在同一個庫裡，這樣不同開發者建立的表可以實現共享。 mysql配置又分為幾種情況： （1）mysql部署在hive伺服器，使用本地服務（測試、學習使用）
（2）mysql部署在其他機器，hive伺服器開啟metadata服務，在hive伺服器上操作hive
（3）mysql部署在其他機器，hive伺服器開啟metadata服務，在hive客戶端訪問hive的metadata服務
配置mysql：     配置mysql時，首先要把mysql-jdbc-driver.jar拷貝到$HIVE_HOME/lib目錄下，修改hive-default.xml名字為hive-site.xml 第一種情況，hive-site.xml配置如下
  1. <property>  
  2.   <name>hive.metastore.local</name>  
  3.   <value>true</value>  
  4. </property>  
  5. <property>  
  6.   <name>javax.jdo.option.ConnectionURL</name>  
  7.   <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>  
  8. </property>  
  9. <property>  
  10.   <name>javax.jdo.option.ConnectionDriverName</name>  
  11.   <value>com.mysql.jdbc.Driver</value>  
  12. </property>  
  13. <property>  
  14.   <name>javax.jdo.option.ConnectionUserName</name>  
  15.   <value>hive</value>  
  16. </property>  
  17. <property>  
  18.   <name>javax.jdo.option.ConnectionPassword</name>  
  19.   <value>password</value>  
  20. </property> 
第二種情況，hive-site.xml配置
  1. <property>  
  2.   <name>javax.jdo.option.ConnectionURL</name>  
  3.   <value>jdbc:mysql://192.168.0.1:3306/hive?createDatabaseIfNotExist=true</value>  
  4. </property>  
  5. <property>  
  6.   <name>javax.jdo.option.ConnectionDriverName</name>  
  7.   <value>com.mysql.jdbc.Driver</value>  
  8. </property>  
  9. <property>  
  10.   <name>javax.jdo.option.ConnectionUserName</name>  
  11.   <value>hive</value>  
  12. </property>  
  13. <property>  
  14.   <name>javax.jdo.option.ConnectionPassword</name>  
  15.   <value>password</value>  
  16. </property>  
  17. <property>  
  18.   <name>hive.metastore.local</name>  
  19.   <value>false</value>  
  20. </property>  
  21. <property>  
  22.   <name>hive.metastore.uris</name>  
  23.   <value>thrift://192.168.0.101:9083</value>  
  24. </property>
第三種情況，hive-site.xml配置    1、 服務端配置
  1. <property>  
  2.   <name>javax.jdo.option.ConnectionURL</name>  
  3.   <value>jdbc:mysql://192.168.1.214:3306/hive?createDatabaseIfNotExist=true</value>  
  4. </property>  
  5. <property>  
  6.   <name>javax.jdo.option.ConnectionDriverName</name>  
  7.   <value>com.mysql.jdbc.Driver</value>  
  8. </property>  
  9. <property>  
  10.   <name>javax.jdo.option.ConnectionUserName</name>  
  11.   <value>hive</value>  
  12. </property>  
  13. <property>  
  14.   <name>javax.jdo.option.ConnectionPassword</name>  
  15.   <value>password</value>  
  16. </property>  
    2、客戶端配置
  1. <property>  
  2.   <name>hive.metastore.local</name>  
  3.   <value>false</value>  
  4. </property>  
  5. <property>  
  6.   <name>hive.metastore.uris</name>  
  7.   <value>thrift://192.168.0.101:9083</value>  
  8. </property>
在使用hive開始前，如果mysql是部署在遠端且 hive.metastore.local=false 則需要啟動hive的metadata服務
  1. $ hive --service metastore   

客戶端使用hive命令即可

  1. [email protected]:~$ hive   
  2. hive> show tables;  
  3. OK  
  4. Time taken: 0.7 seconds  
  5. hive>  

相關推薦

hive元資料庫配置、metadata

QQ交流群：335671559,歡迎交流 一、什麼是hive元資料？ hive元資料就是hive的一些基本的元素，主要包括hive表的基本屬性，如下 （1）hive表的資料庫名、表名、欄位名稱與型別、分割槽欄位與型別 （2）表的分割槽，分割槽的屬性location等 （3

hive元資料庫配置metadata

一、什麼是hive元資料？ hive元資料就是hive的一些基本的元素，主要包括hive表的基本屬性，如下 （1）hive表的資料庫名、表名、欄位名稱與型別、分割槽欄位與型別 （2）表的分割槽

大資料（十八）：Hive元資料配置、常見屬性配置、資料型別與資料轉換

一、Hive元資料配置到MySQL當中         為什麼要把Hive的元資料配置到MySql中？我們可以使用多個客戶端連線linux系統並且都嘗試啟動Hive，可以發現在啟動第二個Hive客戶端的時候發生報錯了。   

HIVE的安裝配置、mysql的安裝、hive建立表、建立分割槽、修改表等內容、hive beeline使用、HIVE的四種資料匯入方式、使用Java程式碼執行hive的sql命令

1.上傳tar包 這裡我上傳的是apache-hive-1.2.1-bin.tar.gz 2.解壓 mkdir -p /home/tuzq/software/hive/ tar -zxvf apache-hive-1.2.1-bin.tar.gz  -C /home/

CDH 5.3.9(parcels)叢集中hive0.13.0升級到hive-1.2.1步驟全，升級hive元資料庫，資料不丟失

2.將安裝包傳到叢集所有節點上 3.所有節點root使用者下  cd /opt/cloudera/parcels/CDH/lib/hive mkdir lib121 5.所有節點將解壓出來hive/lib下所有檔案拷貝到lib121 6.Coudera 介面

HIVE元資料庫相關庫表

DBS hive database資訊 TBLS hive表資訊 TABLE_PARAMS hive表引數 COLUMNS_V2 列資訊 SDS hive儲存資訊，COLUMNS_V2與TBLS表關聯需要通過它. 通過以下sql批量獲取hive現有庫表結構資訊： SELECT

oracle資料庫配置、安裝、部署web應用——筆記

1、      oracle資料庫部署經驗； 1>  先將Oracle - OraDb11g_home2檔案複製到home1對應的檔案目錄下，再安裝home1，安裝比較簡單，設定sys和system使用者密碼即可； 2>  Oracle有自帶的SQL/plus

Django之載入靜態資源配置、模板配置、mysq資料庫配置、快取配置

1.載入靜態資源：在專案中建立名為‘static’的資料夾，裡面可以放置靜態檔案（css，img，js….等資料夾），在HTML檔案中先呼叫{% load static%}。 STATICFILES_DIRS = [ os.path.join(BAS

大資料BigData之如何配置hive連線mysql，把mysql作為元資料庫？

如何配置hive連線mysql，把mysql作為元資料庫？ 文章目錄 1.增加mysql資料庫的連線配置 2.修改臨時資料夾的路徑 3.修改 hive-config.sh 4.下載MySQL JDBC驅動 5.在HDFS中建立目錄和設定許可權

1 複習ha相關 + weekend110的hive的元資料庫mysql方式安裝配置（完全正確配法）（CentOS版本）（包含解除安裝系統自帶的MySQL）

本博文的主要內容是： 　　.複習HA相關 　　.MySQL資料庫 　　.先在MySQL資料庫中建立hive資料庫 　　.hive的配置 以下是Apache Hadoop HA的總結。分為hdfs HA和yarn HA。    　　以上，是參考《

Hive：基本架構、將mysql作為元資料庫

什麼是hive hive基本思想 Hive是基於Hadoop的一個數據倉庫工具(離線)，可以將結構化的資料檔案對映為一張資料庫表，並提供類SQL查詢功能。 為什麼使用Hive 直接使用hadoop所面臨的問題  人員學習成本太高  專案週

Ubuntu下安裝hive，並配置mysql作為元資料庫

一、安裝hive 1.下載並解壓hive源程式 sudo tar -zxvf ./apache-hive-1.2.1-bin.tar.gz -C /usr/local # 解壓到/usr/local中 cd /usr/local/ sudo mv apa

Hadoop Hive安裝，配置mysql元資料庫

　　由於Hive依賴於Hadoop，安裝Hive之前必須確認Hadoop可用，關於Hadoop的安裝可以參考叢集分散式 Hadoop安裝詳細步驟，這裡不再敘述。 tar -zxvf apache-hive-1.0.1-bin.tar.gz 　　在ap

hive的mysql作元數據的hive-site.xml配置

true per 註意 pan 配置 vax 數據 spa created <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysq

（三）Hive元資料資訊對應MySQL資料庫表

（三）Hive元資料資訊對應MySQL資料庫表   目錄 概述 一、儲存Hive版本的元資料表（VERSION） 二、Hive資料庫相關的元資料表（DBS、DATABASE_PARAMS） 1、DBS 2、DATABASE_P

Django框架（二）—— 基本配置：app註冊、模板配置、靜態檔案配置、資料庫連線配置post和get

app註冊、模板配置、靜態檔案配置、資料庫連線配置post和get 一、app 在Django中，APP可以用以下類比 大學 --------------------專案 計算機學院------------app01 土木學院 ------------ app02 1、app建立 方

Hive的元資料庫替換為Mysql

1.驅動拷貝 拷貝mysql­connector­java­5.1.27­bin.jar到/root/hd/hive/lib/下 2.配置Metastore到MySql -》在/root/hd/hive/conf目錄下建立一個hive-site.xml -》根據官方文件配置引

Solr 7.5配置、資料庫連線、Java（學習篇（2）IK分詞器配置）

2、配置IK分詞器 （本人已把需要用到的所有工具、檔案、jar包上傳至百度網盤，有需要者可下載使用, 連結：https://pan.baidu.com/s/1G_L-h0PN2GAaPcreKuuhlg 提取碼：qnwe ） 在ikanalyzer-solr6.5資料夾中找到核心jar包

Solr 7.5配置、資料庫連線、Java（學習篇（1）配置）

需求：基礎Java環境JDK 1.8（solr7.5支援jdk 1.8及以上） Solr 7.5檔案 ikanalyzer-solr6.5分詞器檔案 Sublime Test編輯器 （本人已把需要用到的所有工具、檔案、jar包上傳至百度網盤，有需要者可下載使用, 連結：https://pan

將MySQL作為hive的元資料庫時遇到的問題

  Mysql版本  Ver 14.14 Distrib 5.6.40, for Linux (x86_64) using  EditLine wrapper Hive版本      apache-hive-2.