Hive2.1.1環境部署
二、部署需求
Installation and Configuration
You can install a stable release of Hive by downloading a tarball, or you can download the source code and build Hive from that.
Running HiveServer2 and Beeline
Requirements
Java 1.7
Note: Hive versions 1.2 onward require Java 1.7 or newer. Hive versions 0.14 to 1.1 work with Java 1.6 as well. Users are strongly advised to start moving to Java 1.8 (see HIVE-8607).
Hadoop 2.x (preferred), 1.x (not supported by Hive 2.0.0 onward).
Hive versions up to 0.13 also supported Hadoop 0.20.x, 0.23.x.
Hive is commonly used in production Linux and Windows environment. Mac is a commonly used development environment. The instructions in this document are applicable to Linux and Mac. Using it on Windows would require slightly different steps
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
從官網這句話我們可以知道部署hive的條件
1、需要部署一個hadoop叢集,而且是hadoop2.X。
2、需要安裝java1.7+
1、將apache-hive-2.1.1-bin.tar.gz上傳至/opt/soft目錄下解壓並重命令為hive
[root@hadoop001 soft]# tar -zxvf apache-hive-2.1.1-bin.tar.gz
[root@hadoop001 soft]# mv apache-hive-2.1.1-bin hive
- 1
- 2
2、配置hive環境變數
[[email protected] conf]# vim /etc/profile
export HIVE_HOME=/opt/soft/hive
export PATH=$HIVE_HOME/bin:$PATH
- 1
- 2
- 3
使環境變數生效source /etc/profile,驗證
[root@hadoop001 conf]# hive -help
which: no hbase in (/opt/soft/hive/bin:/opt/soft/hadoop/bin:/opt/soft/hadoop/sbin:/opt/soft/zookeeper/bin:/usr/java/jdk1.7.0_67-cloudera/bin:/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/soft/hive/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/soft/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
usage: hive
-d,--define <key=value> Variable subsitution to apply to hive
commands. e.g. -d A=B or --define A=B
--database <databasename> Specify the database to use
-e <quoted-query-string> SQL from command line
-f <filename> SQL from files
-H,--help Print help information
--hiveconf <property=value> Use value for given property
--hivevar <key=value> Variable subsitution to apply to hive
commands. e.g. --hivevar A=B
-i <filename> Initialization SQL file
-S,--silent Silent mode in interactive shell
-v,--verbose Verbose mode (echo executed SQL to the
console)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
3、修改hive-env.sh(48行)新增HADOOP_HOME配置
vim hive-env.sh
HADOOP_HOME=/opt/soft/hadoop
- 1
- 2
4、編輯hive-site.xml設定元資料儲存使用的資料庫型別
<configuration>
<property>
<!--設定資料庫連線的URL --> <name>javax.jdo.option.ConnectionURL</name>
<!--使用本地MySQL資料庫(ruoze_hive在啟動hive時會自動建立) --> <value>jdbc:mysql://localhost:3306/ruoze_hive?createDatabaseIfNotExist=true</value>
</property>
<!--資料庫連結驅動設定 -->
<property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value>
</property>
<!--資料庫使用者名稱 -->
<property> <name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!--資料庫密碼 -->
<property> <name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property> </configuration>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
5、拷貝資料庫驅動到hive/lib目錄下
[root@hadoop001 soft]# mv mysql-connector-java-5.1.32-bin.jar hive/lib/
- 1
四、啟動Hive
1、啟動前先初始化
[root@hadoop001 ~]# schematool -dbType mysql -initSchema
- 1
2、啟動hive
[[email protected] ~]# hive
which: no hbase in (/opt/soft/hive/bin:/opt/soft/hadoop/bin:/opt/soft/hadoop/sbin:/opt/soft/zookeeper/bin:/usr/java/jdk1.7.0_67-cloudera/bin:/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/soft/hive/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/soft/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Logging initialized using configuration in jar:file:/opt/soft/hive/lib/hive-common-2.1.1.jar!/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases.
hive>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
注:hive是一個客戶端元件,在Hadoop叢集中選擇一臺安裝即可!
相關推薦
webrtc janus系列(1) 環境部署
最近因工作需求需要研究webrtc技術, 遍尋一下, 最後確定使用janus。以後會記錄janus方面學習的東東。 想要了解一個框架, 第一步就是要看其執行過程,再之後才是詳細細節方面的研究。 janus地址: https://github.com/meetecho/janus-ga
Angular2學習筆記.1、環境部署,基本概念,HelloAngular2
前言 作為本系列筆記的第一篇文章,在開頭要說一些閒言碎語。 首先我是一個Angular2的初學者,這個系列文章不是教程或其他一切厲害的東西,僅僅是作為我學習過程的一個記錄,我在編輯和排版後將它作為資料儲存並分享給其他人。也希望大家和我共同以學習的態度探討技術
OpenWRT學習筆記(1)環境部署程式碼下載及編譯
一 . 安裝虛擬機器,我選擇安裝ubuntu14.04版本。 二. 安裝編譯工具 更新ubuntu軟體倉庫中軟體包的索引檔案。 sudo apt-get update 安裝如下工具: sudo apt-get install subversion s
Hive2.1.1環境部署
二、部署需求 Installation and Configuration You can install a stable release of Hive by downloading a tarball, or you can download the source
使用python腳本代碼本地測試環境部署和啟動 V0.1
svn python #!/usr/bin/evn python#encoding=utf-8#author:[email protected]/* */import sysimport osimport shutilimport commandsimport timeimport sub
OpenStack pike版 基本環境部署(2) 續案例架構(1)
duyuheng 基本環境部署 續案例架構(1)環境準備工作:按照以下規劃配置各主機IP地址及主機名稱# controller10.0.0.11 controller# compute110.0.0.31 compute1# block110.0.0.41 bloc
hive2.1.1安裝部署
version -c sset direct out replace 感謝 查看表 變量 一、Hive 運行模式 與 Hadoop 類似,Hive 也有 3 種運行模式: 1. 內嵌模式 將元數據保存在本地內嵌的 Derby 數據庫中,這是使用 Hive 最
jboss-as-7.1.0.CR1b域集群和會話復制環境部署
導致 security head process 現在 窗口 不同的 int 模式 前言: 我想向您展示如何在域模式下設置JBoss AS7並啟用群集,以便我們可以在節點之間獲得HA(高可用性)和會話復制我們需要準備兩個主機(或虛擬主機)來進行實驗。我們將使用以下兩個主機:
部署k8s ssl集群實踐1:基礎環境準備
基礎 you code hub 錯誤 systemctl 第一個 base 感謝 參考文檔:https://github.com/opsnull/follow-me-install-kubernetes-cluster感謝作者的無私分享。集群環境已搭建成功跑起來。文章是部署
我對hyperledger fabric1.1.0的執著(二):Fabric環境部署
1、安裝node.js sudo yum install epel-release sudo yum install nodejs 檢視: node --version npm --version 2、fabric原始碼安裝 (2.1)下載專案到go目錄並checkout
大資料技術學習筆記之hive框架基礎1-基本架構及環境部署
一、hive的介紹及其發展 "27.38.5.159" "-" "31/Aug/2015:00:04:37 +0800" "GET /course/view.php?id=27 HTTP/1.1" "303" "440" - "http://www.micro.com/user.php?act
【selenium】selenium 自動化測試框架部署1:selenium + JUnit + eclipse + testNG 環境部署
目錄 二、Firefox:Selenium IDE 安裝 三、jdk:下載和安裝 四、eclipse:下載和安裝 五、必要的jar包下載 六、eclipse:自動化測試框架環境部署 七、Firefox:Try Xpath 安裝 八、eclipse:安裝testNG外掛
JBoss AS7.1.1的下載安裝、環境變數配置以及部署
JBoss是純Java的EJB(企業JavaBean)伺服器。 我下載的是:JBoss AS7.1.1.Final 2、解壓安裝包 D:\Java\jboss-as-7.1.1.Final 在環境變數新建一個:JBOSS_HOM
生產環境elasticsearch5.0.1叢集的部署配置詳解
線上環境elasticsearch5.0.1叢集的配置部署 es叢集的規劃: 硬體: 7臺8核、64G記憶體、2T ssd硬碟加1臺8核16G的阿里雲伺服器 其中一臺作為kibana+kafka連線查詢的伺服器 其他6臺都作為node和master兩種角色 作業系統:cen
PlayFramework 1.x 生產環境部署 原始碼編譯
最近一直在使用playframework,一個高效能快速開發的框架,非常推薦嘗試,在生產環境部署的時候遇到了一些問題,這裡做下記錄。 首先查看了下官方的文件 1.4.x/deployment 官方提到了幾種方式 1. 獨立的play應用(前面是nginx或者apache)
ubuntu下hive2.1.1部署安裝
1、安裝mysql sudo apt-get install mysql-server 2、新增遠端控制授權 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH G
Linux環境部署 Tengine2.1.12(Nginx)+PHP5.6.30
突然想搞一下php的執行環境,做點小東西,於是乎開始百度.....忙活半天后,發現其他人的文章,不是照抄就是 一點用處都沒有,或者把你引入絕境!!!!!,自己去翻閱官網文件(純英文,但是很無奈.
GitHub實戰系列~1.環境部署+建立第一個檔案 2015-12-9
—————————————————————————————————————————————————————— 很多人問,明明有git gui 和 github可以直接圖形化操作的嗎?全部指令幹啥??? 呃(⊙o⊙)…呃(⊙o⊙)… ===> 裝逼~ O(∩_∩)O~,開玩笑的,其實就是為了
CentOS6.5環境部署Hadoop2.8.1叢集(HA)
部署前提 1、三臺主機安裝JDK1.7 2、關閉防火牆、selinux 3、配置靜態IP 一、所用軟體 hadoop-2.8.1 zookeeper-3.4.6 二、機器規劃(對應關係寫入到/etc/hosts) IP HOS
Hive2.1.1、Hadoop2.7.3 部署
本文以遠端模式安裝Hive2.1.1將hive的元資料放置在MySQL資料庫中。 1 安裝mysql資料庫 sudo apt-get install mysql-server11 重啟mysql服務使得配置檔案生效 sudo service mysql restart11 建立hive專用賬