1. 程式人生 > >Hive 安裝教程

Hive 安裝教程

1. 簡單介紹

Hive 是基於 Hadoop 的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單的 sql 查詢功能,可以將 SQL 語句轉換為MapReduce任務進行執行。 其優點是學習成本低,可以通過類SQL語句快速實現簡單的 MapReduce 統計,不必開發專門的 MapReduce 應用,十分適合資料倉庫的統計分析。
本文主要介紹在 CentOS 下 安裝 Hive 環境.

2. 依賴條件

  • Hive 依賴 Hadoop,所以在安裝 Hive 之前,必須安裝 Hadoop。安裝 Hadoop 請參考上一篇部落格:Hadoop 安裝教程
  • MySQL 用於儲存 Hive 的元資料(也可以用 Hive 自帶的嵌入式資料庫 Derby,但是 Hive 的生產環境一般不用 Derby)。MySQL 的安裝可以參考:
    部署 MySQL 主從模式
    ,這裡只需要安裝 MySQL 單機版即可,如果想保證高可用的化,也可以部署 MySQL 主從模式;
  • 下表是具體安裝元件的具體資訊:

    software version host
    Hadoop hadoop-2.6.0-cdh5.4.7 hw001, hw002, hw003
    MySQL MySQL-5.5.45 hw001
    Hive hive-1.1.0-cdh5.4.7 hw001

3. 配置 MySQL

-- 建立 hive 資料庫
mysql> CREATE DATABASE hive;

--
建立 hive 使用者,並賦予訪問 hive 資料庫的許可權 mysql> GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive'; mysql> FLUSH PRIVILEGES; -- 設定 binary log 的格式: mysql> set global binlog_format=MIXED;

4. 下載 Hive 並配置環境變數

-- 下載並解壓 Hive
su - hadoop
wget http://archive-primary.cloudera.com
/cdh5/cdh/5/hive-1.1.0-cdh5.4.7.tar.gz tar xzvf hive-1.1.0-cdh5.4.7.tar.gz -C /home/hadoop -- 在 .bashrc 或是 .bash_profile 檔案中增加以下設定: export HIVE_HOME=/home/hadoop/hive-1.1.0-cdh5.4.7 export PATH=$PATH:$HIVE_HOME/bin -- 用 source 命令使之生效。

5. 修改配置檔案

-- cat hive-1.1.0-cdh5.4.7/conf/hive-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
      <name>hive.server2.thrift.port</name>
      <value>10000</value>
    </property>

    <property>
      <name>hive.server2.thrift.bind.host</name>
      <value>hw001</value>
    </property>

    <property>
      <name>hive.server2.authentication</name>
      <value>NONE</value>
      <description>
        Client authentication types.
           NONE: no authentication check
           LDAP: LDAP/AD based authentication
           KERBEROS: Kerberos/GSSAPI authentication
           CUSTOM: Custom authentication provider
                   (Use with property hive.server2.custom.authentication.class)
      </description>
    </property>

    <property>
      <name>hive.server2.enable.doAs</name>
      <value>true</value>
    </property>

    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
      <description>JDBC connect string for a JDBC metastore</description>
    </property>

    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
      <description>Driver class name for a JDBC metastore</description>
    </property>

    <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>hive</value>
      <description>username to use against metastore database</description>
    </property>

    <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>hive</value>
      <description>password to use against metastore database</description>
    </property>
</configuration>

6. 下載 mysql jdbc jar 包

wget http://cdn.mysql.com//Downloads/Connector-J/mysql-connector-java-5.1.37.tar.gz
tar xvzf mysql-connector-java-5.1.37.tar.gz
cp mysql-connector-java-5.1.37/mysql-connector-java-5.1.37-bin.jar $HIVE_HOME/lib

7. 啟動 hive1

./bin/hive

Logging initialized using configuration in file:/home/hadoop/hive-1.1.0-cdh5.4.7/conf/hive-log4j.properties
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
hive> show databases;
OK
default
Time taken: 0.732 seconds, Fetched: 1 row(s)
hive> quit;

8. 啟動 hiveserver2

-- 啟動 hive server
nohup hive --service hiveserver2 &

-- 啟動客戶端(不需要使用者名稱密碼)
$ beeline 
Beeline version 1.1.0-cdh5.4.7 by Apache Hive
beeline> !connect jdbc:hive2://hw001:10000
scan complete in 3ms
Connecting to jdbc:hive2://hw001:10000
Enter username for jdbc:hive2://hw001:10000: 
Enter password for jdbc:hive2://hw001:10000: 
Connected to: Apache Hive (version 1.1.0-cdh5.4.7)
Driver: Hive JDBC (version 1.1.0-cdh5.4.7)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://hw001:10000> show tables;
+------------------------+--+
|        tab_name        |
+------------------------+--+
| historydata_20_23      |
| historydata_20_23_col  |
| tmp_1                  |
| tmp_2                  |
| years                  |
+------------------------+--+
5 rows selected (0.33 seconds)
0: jdbc:hive2://hw001:10000>

9. 安裝完畢。

相關推薦

Hive 安裝教程

1. 簡單介紹 Hive 是基於 Hadoop 的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單的 sql 查詢功能,可以將 SQL 語句轉換為MapReduce任務進行執行。 其優點是學習成本低,可以通過類SQL語句快速實現簡單的 M

Hive實戰(2)Hive安裝教程

選擇Hadoop發行版本 安裝java $ /usr/java/latest/bin/java -version java version "1.6.0_23" Java(TM) SE R

Hive/Hbase/Sqoop的安裝教程

啟動 get Coding 如果 path master 安裝教程 targe name Hive/Hbase/Sqoop的安裝教程 HIVE INSTALL 1.下載安裝包:https://mirrors.tuna.tsinghua.edu.cn/apache/hiv

apache-hive-1.2.2安裝教程

1、安裝前提 1、hadoop叢集(偽分散式也可以) 2、mysql資料庫 這裡假設hadoop叢集和mysql資料庫都安裝好了。 2、配置mysql資料庫 1、建立hive元資料存放庫 mysql> create database hiv

Hive1.2本地模式安裝教程--hive學習

hive安裝方式有內嵌方式、本地方式和遠端方式。此次搭建hive的目的主要是專案需要學習hive,因此選用較為簡單方便的本地模式。這個需要藉助mysql,下面進入具體步驟。 一、環境搭建 1.hadoop搭建 hive其實工作原理就是將sql查詢語句轉

Hive 2.3.3 安裝教程

Hive安裝教程 Hive不支援記錄級別的更新、插入或者刪除操作。Hive查詢延時比較嚴重。Hive不支援事務。 Pig常用於ETL(資料抽取,資料轉換和資料裝載)過程的一部分,也就是將外部資料裝載到Hadoop叢集中,然後轉換成所期望的資料格式。 大前提

mysql 5.7.3.0-m13安裝教程

com 處理 技術分享 mysql 5.7 bench aid target 驗證 htm 安裝mysql百度經驗地址:(默認安裝,除了選擇不更新和選擇保存路徑,其它基本是下一步下一步) http://jingyan.baidu.com/article/7e4409

【轉載】Hadoop 2.7.3 和Hbase 1.2.4安裝教程

啟動 運行 property new rop net 文本文 .tar.gz cor 轉載地址:http://blog.csdn.net/napoay/article/details/54136398 目錄(?)[+] 一、機器環境

wkhtmltopdf網頁轉PDF程序安裝教程

教程 pdf wkhtmltopdf 網頁轉pdf 網頁轉圖片 背景最近開發部要弄個網頁轉PDF的程序,我從網上找了一個現成的程序,感覺非常好用,也可以把網頁轉成圖片。需要的拿去。 下面把安裝記錄一下。官網: https://wkhtmltopdf.org/安裝環境:Centos 6.8

SSR服務端安裝教程

安裝 soc hub configure use 服務端 安裝教程 配置教程 多用戶 SSR服務端安裝教程https://github.com/breakwa11/shadowsocks-rss/wiki/Server-Setup SS服務端安裝教程https://gith

redis安裝教程

aof 能夠 out led port 默認 ref spa 標準輸出 redis安裝: 1、下載:wget http://download.redis.io/releases/redis-3.2.8.tar.gz 下載完成後解壓源代碼: tar -zxvf redis-

maven的安裝教程

pac image 安裝教程 home 如果 內部命令 頁面 教程 結構 下載地址為:http://maven.apache.org/download.cgi 進入此頁面之後 點擊下載,然後解壓,我把目錄名改為maven,目錄結構如下圖所示 下面我們配置環境變量 這是m

Visual Studio for Mac離線安裝教程

結果 style 網盤 下載 win 漂亮 官網 ges nbsp Visual Studio for Mac離線安裝教程 可以在線安裝,也可以離線安裝(本次安裝博主使用離線,在線安裝失敗了) 於是選擇離線安裝………&h

Python3.6 和 Pycharm 詳細安裝教程

python pycharm一.Python3.61.下載Python安裝包 https://www.python.org/ 2.安裝Python 2.1.雙擊安裝,勾選下面兩項,選擇自定義安裝2.2.此處默認,直接下一步2.3.選擇安裝路勁,開始安裝2.4.安裝完成3.運行PythonPython3.6

虛擬機上CentOS-6.9-x86_64系統安裝教程

sql 步驟 line 根據 打開 簡單 登錄 安裝虛擬機 height 最近想學學Linux系統如何使用,於是想用VM安裝虛擬機學習一下。 linux系統比較多,我這裏用的是CentOS-6.9-x86_64 一、下載系統 下載地址:https://www.cent

PYTHON PIP和kivy安裝教程

環境 pypi 文件 控制臺 官方 windows.h 地址 class one 我們安裝pip。我們同樣需要在Python的官網上去下載 下載地址:https://pypi.python.org/pypi/pip 下載完成之後,解壓到一個文件夾,用CMD控制臺進入解壓目錄

WIN7 嵌入式系統安裝教程 Windows Embedded Standard 2011 安裝

系統 鏡像構建 hid import 關聯 res inbox 嵌入式 sem 輕松構建你的第一個 Windows Embedded Standard 2011 鏡像。通過本文你能夠高速掌握怎樣使用Windows Embedded Standard 2011 CTP1 來

Adobe Audition CC 2017 (10.0)安裝教程

bsp 使用 親測 painter all 全自動 dll 網線 斷開 Adobe Audition CC 2017 (10.0)安裝教程 第一步:首先請將電腦的網絡斷開,很簡單:禁用本地連接或者拔掉網線,這樣就可以免除登錄Creative Cloud帳號,安裝更方便快捷

Weblogic12c for Linux安裝教程

weblogic linux Weblogic for Linux軟件安裝流程3.1 主機環境要求本次環境使用一臺CentOS6.5服務器安裝weblogic12c,在同一臺主機上運行管理服務器和受管理服務器,共建立兩臺受管理服務器new_ManagedServer_1、new_ManagedServ

hive安裝

com conn meta orm prop sta 創建 create content 1. Hive的安裝 系統環境 裝好hadoop的環境後。我們能夠把Hive裝在namenode機器上(NameNode-82)。 下載: hive-0.9.0.tar.gz