hive的三種安裝方式
Hive的meta資料支援以下三種儲存方式,其中兩種屬於本地儲存,一種為遠端儲存。遠端儲存比較適合生產環境。Hive官方wiki詳細介紹了這三種方式,連結為:Hive Metastore。
一、本地derby
這種方式是最簡單的儲存方式,只需要在hive-site.xml做如下配置便可
[html] view plaincopyprint?- <?xmlversion="1.0"?>
- <?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
-
<configuration
- <property>
- <name>javax.jdo.option.ConnectionURL</name>
- <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionDriverName</name>
-
<value>org.apache.derby.jdbc.EmbeddedDriver
- </property>
- <property>
- <name>hive.metastore.local</name>
- <value>true</value>
- </property>
- <property>
- <name>hive.metastore.warehouse.dir</name>
- <value>/user/hive/warehouse</value>
- </property>
-
<property
- <name>hive.metastore.warehouse.dir</name>
- <value>/user/hive/warehouse</value>
- </property>
- </configuration>
注:使用derby儲存方式時,執行hive會在當前目錄生成一個derby檔案和一個metastore_db目錄。這種儲存方式的弊端是在同一個目錄下同時只能有一個hive客戶端能使用資料庫,否則會提示如下錯誤
[html] view plaincopyprint?
- hive> show tables;
- FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.
- NestedThrowables:
- java.sql.SQLException: Failed to start database 'metastore_db', see the next exception for details.
- FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
二、本地mysql
這種儲存方式需要在本地執行一個mysql伺服器,並作如下配置(下面兩種使用mysql的方式,需要將mysql的jar包拷貝到$HIVE_HOME/lib目錄下)。 [html] view plaincopyprint?- <?xmlversion="1.0"?>
- <?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
- <configuration>
- <property>
- <name>hive.metastore.warehouse.dir</name>
- <value>/user/hive_remote/warehouse</value>
- </property>
- <property>
- <name>hive.metastore.local</name>
- <value>true</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionURL</name>
- <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionDriverName</name>
- <value>com.mysql.jdbc.Driver</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionUserName</name>
- <value>hive</value>
- </property>
- <property>
-
<
相關推薦
hive的三種安裝方式
Hive的meta資料支援以下三種儲存方式,其中兩種屬於本地儲存,一種為遠端儲存。遠端儲存比較適合生產環境。Hive官方wiki詳細介紹了這三種方式,連結為:Hive Metastore。 一、本地derby 這種方式是最簡單的儲存方式,只需要在hive-
thinkPHP 5.0 框架 ——三種安裝方式
標題 ##在使用thinkPHP 5.0框架開發的時候就需要安裝,在安裝的時候就會有三種的安裝方式,本次主要講解composer安裝方式以及Git安裝方式。 一:第一種方式就是使用原始碼包安裝(這個安裝方式在thinkPHP5.0之後可能不會再支援,所以不對這
大資料(二十三)Hive【Hive三種啟動方式 、 HIVE Server2詳解 、 jdbc連結HIVE】
一:Hive的三種啟動方式 1, hive 命令列模式 進入hive安裝目錄,輸入bin/hive的執行程式,或者輸入 hive –service cli 用於linux平臺命令列查詢,查詢語句基本跟mysql查詢語句類似 2, hive
最新版本Mysql 5.7.19三種安裝方式手冊
** 環境準備 作業系統:CentOS 軟體:mysql-5.7.19 ** ** 一、RPM 方式安裝 downloads 選擇MySQL Community Edition (GPL)>>Co
linux下hive三種方式的安裝
本次以apache-hive-1.2.1-bin.tar.gz為例伺服器node5192.168.13.135伺服器node6192.168.13.136伺服器node7192.168.13.137伺服器node8192.168.13.138一、配置本地內建derby模式1.
Hive metastore三種配置方式
org erro connect 其中 art ont failed log hive Hive的meta數據支持以下三種存儲方式,其中兩種屬於本地存儲,一種為遠端存儲。遠端存儲比較適合生產環境。Hive官方wiki詳細介紹了這三種方式,鏈接為:Hive Metastore
Hive學習(一)Hive的三種搭建方式
Hive三種搭建方式 一、本地模式(derby) 二、基於Mysql的本地模式 三、基於Mysql的遠端模式 1、解壓apache-hive-1.2.1-bin.tar.gz tar -zxvf apache-hi
Hive的三種Join方式
Hive中就是把Map,Reduce的Join拿過來,通過SQL來表示。 參考連結:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins Common/Shuffle/Reduce Join Reduce
Hive之——metastore三種配置方式(轉)
轉自:https://blog.csdn.net/l1028386804/article/details/51564235 Hive的meta資料支援以下三種儲存方式,其中兩種屬於本地儲存,一種為遠端儲存。遠端儲存比較適合生產環境。Hive官方wiki詳細介紹了這三種方式,連結
Hive三種不同的資料匯出的方式
Hive三種不同的資料匯出的方式 1、匯出到本地檔案系統 insert overwrite local directory '/home/anjianbing/soft/export_data/app_order_city_d' row format delimited fiel
三種安裝軟體方式
原始碼包安裝方式 1、找到相應的軟體包,比如soft.tar.bz2,下載到本機某個目錄; 2、開啟一個終端,su -成root使用者; 3、cd soft.tar.bz2所在的目錄; 4、tar -xjvf soft.tar.bz2 //一般會生
簡述Hive的三種啟動方式及內建服務
一 Thrift服務 通過hiveServer/hiveServer2啟動Thrift服務,客戶端連線Thrift服務訪問Hive資料庫(JDBC,JAVA等連線Thrift服務訪問Hive)。 <property> <name>hive.server
Hive簡介及元資料儲存(Metastore的三種配置方式)
一 Hive介紹 Hive是基於Hadoop的一個數據倉庫,Hive能夠將SQL語句轉化為MapReduce任務進行執行。 Hive架構圖分為以下四部分: 1、Hive有三個使用者介面: a. 命令列介面(CLI):以命令列的形式輸入SQL語句進行資料資料
hive 三種去重方式
在hive資料清洗這裡總結三種常用的去重方式 1.distinct 2.group by 3.row_number() 例項: SELECT tel, link_name, certificate_no, certificate_type, modify_time FR
Hive學習 (三)Hive的連線三種連線方式
目錄一、CLI連線二、HiveServer2/beeline 1、修改 hadoop 叢集的 hdfs-site.xml 配置檔案 2、修改 hadoop 叢集的 core-site.xml 配置檔案三、Web UI正文:一、CLI連線進入到 bin 目錄下,直接
redis的安裝及三種啟動方式
Part I. 直接啟動 下載 官網下載 安裝 tar zxvf redis-2.8.9.tar.gz cd redis-2.8.9 #直接make 編譯 make #可使用root使用者執行`make install`,將可執行檔案拷貝到/usr/local/
hive中metastore三種儲存方式
hive中metastore儲存方式: 巢狀方式: 使用內建derby資料庫,同一時間僅限一個hive cli環境登入 本地mysql儲存方式: 採取外部mysql資料庫伺服器,支援多使用者連線模式,通過設定hive.metastore.local 為
hive 三種方式區別和搭建
一、安裝模式介紹: Hive官網上介紹了Hive的3種安裝方式,分別對應不同的應用場景。 1、內嵌模式(元資料保村在內嵌的derby種,允許一個會話連結,嘗試多個會話連結時會報錯) 2、本地模式(本地安裝mysql 替代derby儲存元資料)
Hive的Metastore三種配置方式分析
Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供類SQL查詢功能。而metastore是Hive元資料的集中存放地。metastore元資料儲存主要體現
C++函數的三種傳遞方式為:值傳遞、指針傳遞和引用傳遞
否則 方式 指針 指向 out 數據結構 logs 形參 使用 C++函數的三種傳遞方式為:值傳遞、指針傳遞和引用傳遞 值傳遞: void fun(int x){ x += 5; //修改的只是y在棧中copy x,x只是y的一個副本,在內存中重新開辟的一塊臨時空間把y