2. 程式人生 > >Hadoop 部署之 Hive (五)

Hadoop 部署之 Hive (五)

阿新 • • 發佈：2018-11-16
org plan 集群 value https images cond 安裝包 maria

一、Hive 簡介

1、什麽是 Hive

  • Hive 由 Facebook 實現並開源，是基於 Hadoop 的一個數據倉庫工具，可以將結構化的數據映射為一張數據庫表，並提供 HQL(Hive SQL)查詢功能，底層數據是存儲在 HDFS 上。
  • Hive 的本質是將 SQL 語句轉換為 MapReduce 任務運行，使不熟悉 MapReduce 的用戶很方便地利用 HQL 處理和計算 HDFS 上的結構化的數據，適用於離線的批量數據計算。
  • Hive 依賴於 HDFS 存儲數據，Hive 將 HQL 轉換成 MapReduce 執行，所以說 Hive 是基於 Hadoop 的一個數據倉庫工具，實質就是一款基於 HDFS 的 MapReduce 計算框架，對存儲在 HDFS 中的數據進行分析和管理。

技術分享圖片

2、為什麽使用 Hive

直接使用 MapReduce 所面臨的問題：

　　1、人員學習成本太高

　　2、項目周期要求太短

　　3、MapReduce實現復雜查詢邏輯開發難度太大

為什麽要使用 Hive：

　　1、更友好的接口：操作接口采用類 SQL 的語法，提供快速開發的能力

　　2、更低的學習成本：避免了寫 MapReduce，減少開發人員的學習成本

　　3、更好的擴展性：可自由擴展集群規模而無需重啟服務，還支持用戶自定義函數

3、Hive 的特點

  • 優點：

　　1、可擴展性,橫向擴展，Hive 可以自由的擴展集群的規模，一般情況下不需要重啟服務 橫向擴展：通過分擔壓力的方式擴展集群的規模 縱向擴展：一臺服務器cpu i7-6700k 4核心8線程，8核心16線程，內存64G => 128G

　　2、延展性，Hive 支持自定義函數，用戶可以根據自己的需求來實現自己的函數

　　3、良好的容錯性，可以保障即使有節點出現問題，SQL 語句仍可完成執行

  • 缺點：

　　1、Hive 不支持記錄級別的增刪改操作，但是用戶可以通過查詢生成新表或者將查詢結 果導入到文件中（當前選擇的 hive-2.3.2 的版本支持記錄級別的插入操作）

　　2、Hive 的查詢延時很嚴重，因為 MapReduce Job 的啟動過程消耗很長時間，所以不能 用在交互查詢系統中。

　　3、Hive 不支持事務（因為不沒有增刪改，所以主要用來做 OLAP（聯機分析處理），而 不是 OLTP（聯機事務處理），這就是數據處理的兩大級別）。

4、Hive 的架構

技術分享圖片

二、Hive 安裝

1、MySQL 安裝(datanode01)

Hive 的元數據存儲在 RDBMS 中，除元數據外的其它所有數據都基於 HDFS 存儲。默認情 況下，Hive 元數據保存在內嵌的 Derby 數據庫中，只能允許一個會話連接，只適合簡單的 測試。實際生產環境中不適用，為了支持多用戶會話，則需要一個獨立的元數據庫，使用 MySQL 作為元數據庫，Hive 內部對 MySQL 提供了很好的支持。

yum install mariadb-server

2、MySQL 啟動

啟動數據庫

systemctl start mariadb
systemctl enable mariadb

3、Hive 下載安裝

# 下載安裝包
wget https://mirrors.aliyun.com/apache/hive/hive-2.3.3/apache-hive-2.3.3-bin.tar.gz

# 解壓安裝包
tar xf apache-hive-2.3.3-bin.tar.gz
mv apache-hive-2.3.3-bin /usr/local/hive

# 創建目錄
mkdir -p /home/hive/{log,tmp,job}

4、配置 Hive 環境變量

編輯文件/etc/profile.d/hive.sh，修改為如下內容：

# HIVE ENV
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin

使HIVE環境變量生效。

source /etc/profile.d/hive.sh

三、Hive 配置

1、配置 metastore

mysql> grant all privileges on *.* to ‘hive‘@‘%‘ identified by ‘hive123456‘ with grant option;
mysql> grant all privileges on *.* to ‘hive‘@‘datanode01‘ identified by ‘hive123456‘ with grant option;

mysql> grant all privileges on *.* to ‘thbl_prd_hive‘@‘%‘ identified by ‘hive123456‘ with grant option;
mysql> grant all privileges on *.* to ‘hive‘@‘localhost‘ identified by ‘hive123456‘ with grant option;
mysql> grant all privileges on *.* to ‘thbl_prd_hive‘@‘localhost‘ identified by ‘hive123456‘ with grant option;
mysql> flush privileges;

2、配置 jdbc

wget http://mirrors.163.com/mysql/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz tar xf mysql-connector-java-5.1.45.tar.gz
cp mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /usr/local/hive/lib/

3、備份template配置文件

cd /usr/local/hive/conf
mkdir template
mv *.template template

# 安排配置文件
cp template/hive-exec-log4j2.properties.template hive-exec-log4j2.properties
cp template/hive-log4j2.properties.template hive-log4j2.properties
cp template/hive-default.xml.template hive-default.xml
cp template/hive-env.sh.template hive-env.sh

4、配置 hive-env.sh

編輯文件/usr/local/hive/conf/hive-env.sh，修改內容如下：

HADOOP_HOME=/usr/local/hadoop
export HIVE_CONF_DIR=/usr/local/hive/conf
export HIVE_AUX_JARS_PATH=/usr/local/hive/lib

5、配置數據倉庫 hive-site.xml

編輯文件/usr/local/hive/conf/hive-site.xml，修改內容為如下：

<configuration>

   <property>
     <name>hive.exec.local.scratchdir</name>
     <value>/home/hive/job</value>
     <description>hive的本地臨時目錄，用來存儲不同階段的map/reduce的執行計劃</description>
   </property>

   <property>
     <name>hive.downloaded.resources.dir</name>
     <value>/home/hive/tmp/${hive.session.id}_resources</value>
     <description>hive下載的本地臨時目錄</description>
   </property>

   <property>
     <name>hive.querylog.location</name>
     <value>/home/hive/log/${system:user.name}</value>
     <description>hive運行時結構化日誌路徑</description>
   </property>

   <property>
     <name>hive.hwi.war.file</name>
     <value>lib/hive-hwi-2.1.1.war</value>
     <description>HWI war文件路徑, 與 ${HIVE_HOME}相關. </description>
   </property>

   <property>
     <name>hive.server2.logging.operation.log.location</name>
     <value>/home/hive/log/${system:user.name}/operation_logs</value>
     <description>日誌開啟時的，操作日誌路徑</description>
   </property>

<!--遠程mysql元數據庫-->
   <property>
     <name>hive.metastore.local</name>
     <value>false</value>
   </property>

  <property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
    <description>啟動時自動創建必要的schema</description>
  </property>

  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/hive/warehouse</value>
    <description>Hive數據倉庫在HDFS中的路徑</description>
  </property>

   <property>
     <name>hive.metastore.uris</name>
     <value>thrift://datanode01:9083</value>
     <description>遠程metastore的 Thrift URI，以供metastore客戶端連接metastore服務端</description>
   </property>

<!--mysql元數據庫配置-->
   <property>
     <name>javax.jdo.option.ConnectionDriverName</name>
     <value>com.mysql.jdbc.Driver</value>
     <description>JDBC驅動名</description>
   </property>

   <property>
     <name>javax.jdo.option.ConnectionURL</name>
     <value>jdbc:mysql://datanode01:3306/hive_db?createDatabaseIfNotExist=true</value>
     <description>JDBC連接名</description>
   </property>

   <property>
     <name>javax.jdo.option.ConnectionUserName</name>
     <value>hive</value>
     <description>連接metastore數據庫的用戶名</description>
   </property>

   <property>
     <name>javax.jdo.option.ConnectionPassword</name>
     <value>hive12345</value>
     <description>連接metastore數據庫的密碼</description>
   </property>

   <property>
     <name>hive.metastore.schema.verification</name>
     <value>false</value>
     <description>強制metastore schema的版本一致性</description>
   </property>

</configuration>

6、配置權限

scp /usr/local/hive/conf/* datanode01:/usr/local/hive/conf/
chmod 755 /usr/local/hive/conf/*

四、Hive 啟動

1、在namenode01，啟動hiveserver2

hive --service hiveserver2 &

2、在datanode01，啟動metastore

hive --service metastore &

五、Hive 檢查

1、JPS

[root@namenode01 ~]# jps
14512 NameNode
14786 ResourceManager
21348 RunJar
15894 HMaster
22047 Jps

[root@datanode01 ~]# jps
3509 DataNode
3621 NodeManager
1097 QuorumPeerMain
9930 RunJar
3935 HRegionServer
10063 Jps

2、hive shell

[root@namenode01 ~]# hive
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in file:/usr/local/hive/conf/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive> show tables;
OK
Time taken: 0.833 seconds

Hadoop 部署之 Hive (五)

相關推薦

Hadoop 部署之 Hive (五)

org plan 集群 value https images cond 安裝包 maria 一、Hive 簡介 1、什麽是 Hive Hive 由 Facebook 實現並開源，是基於 Hadoop 的一個數據倉庫工具，可以將結構化的數據映射為一張數據庫表，並提供 HQL

Hadoop 部署之環境準備(一)

一、軟硬體規劃 ID 主機型別 主機名 IP 應用軟體 作業系統 硬體配置 1 物理機 namenode01 192.168.1.200 jdk1.8.0_171、ha

Hadoop筆記之十五——spark分析日誌例項流程簡述

需求：     分析apache 伺服器日誌 步驟：     step 0：在命令列下建立專案（windows、linux都可以）     step 1：將專案匯入idea     

Hadoop 部署之 Hadoop (三)

目錄 一、Hadoop 介紹 1、HDFS 介紹 2、HDFS 組成 3、MapReduce 介紹 4、MapReduce 架構 JobTracker TaskTracker 二、Hadoop的安裝

Hadoop叢集之Hive HA 安裝配置

Hive是基於Hadoop構建的一套資料倉庫分析系統，它提供了豐富的SQL查詢方式來分析儲存在Hadoop 分散式檔案系統中的資料。其在Hadoop的架構體系中承擔了一個SQL解析的過程，它提供了對外

hadoop學習之HIVE（3.2）：hadoop2.7.2下配置hiveserver2啟動遠端連線

./hive只是啟動本地客戶端，往往用來測試，我們可以啟動hive server2伺服器用於遠端連線，方便開發。 前提是配置好hadoop和hive 1，開啟hive server服務：bin/hiveserver2 可檢視服務是否開啟：netstat -nplt |

hadoop部署之防火牆

在部署hadoop時，好多資料上都寫了要關閉防火牆，如果不關閉可能出現節點間無法通訊的情況，於是大家也都這樣做了，因此叢集通訊正常。當然叢集一般是處於區域網中的，因此關閉防火牆一般也不會存在安全隱患，但如果需要防火牆對其他的連線依舊起作用的話，就不能簡單的關閉它，而是可以通

【Hadoop 分布式部署 五：分布式部署之分發、基本測試及監控】

conda -s 啟動 上啟 res 點擊 mon web頁面 mapr 1.對 hadoop 進行格式化 　　　　到 /opt/app/hadoop-2.5.0 目錄下　　執行命令： bin/hdfs namenode -format 　　　　　　執行的效果圖

hadoop之hive的安裝與部署

一、hive簡介 hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduc

Hive之 hive與hadoop的聯系

ack create 交互 table ima ask str 數據信息 where Hive與Hadoop調用圖 解析：

八、Hadoop學習筆記————調優之Hive調優

需要 cnblogs log logs nbsp .cn 集中 bsp 9.png 表1表2的join和表3表4的join同時運行 此法需要關註是否有數據傾斜（大量數據集中在某一區間段） 八、Hadoop學習筆記————調優之Hive調優

Hadoop 之 Hive 安裝與配置

file 接下來 重新 軟件 driver name arc /etc ted Hive 作為基於Hadoop的一個數據倉庫工具，可將sql語句轉換為MapReduce任務進行運行。 通過類SQL語句快速實現簡單的MapReduce統計，不用開發專門的MapReduce應用

Hadoop學習之路（五）Hadoop集群搭建模式和各模式問題

數據 場景 模式 問題 沒有 問題： 重裝 故障 style 分布式集群的通用問題 當前的HDFS和YARN都是一主多從的分布式架構，主從節點---管理者和工作者 問題：如果主節點或是管理者宕機了。會出現什麽問題？ 群龍無首，整個集群不可用。所以在一主多從的架構中都會

大數據之---Hive全網最詳細的編譯tar及部署終極篇

大數據 Hive 1、軟件環境RHEL6角色jdkhadoop-2.8.1.tar.gz apache-maven-3.3.9 mysql-5.1xx.xx.xx.xx ip地址NNhadoop01xx.xx.xx.xx ip地址DNhadoop02xx.xx.xx.xx ip地址DNhadoop0

Kubernetes集群部署之五node節點部署

啟動 proxy配置 $1 vsp serve desc reload fig rri 部署kubelet: 1.二進制包準備 將軟件包可執行文件從k8s-master復制到node節點中去。 [root@k8s-master ~]# cd /usr/local/src/

Hadoop之Hive的安裝與配置

Hive目前底層還是用MapReduce，以後可能會用Spark,Tez。Hive差不多是一個查詢介面，你的SQL語句還是會翻譯成MapReduce任務的，你用explain就可以看到這些任務的執行計劃。下面介紹下hive的基礎安裝過程以及簡單的使用。 環境資訊： 虛擬機器數量：

Hadoop之Hive詳解

1、什麼是Hive 　　hive是基於hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表 　　並提供類sql查詢功能 2、為什麼要用Hive 　　1、直接使用hadoop所面臨的問題 　　　　人員學習成本太高 　　　　專案週期要求太短 　　　　MapReduce實現複雜查詢邏輯開發

大資料元件之----HIVE，win10下安裝以及配置hadoop詳細步驟

HIVE其本質是以Hadoop作為基礎的資料倉庫基礎設施。其中hadoop為資料的儲存和執行在商業機器上提供了可擴充套件以及容錯性的可能，其中容錯性可通過副本來進行理解。 目標： HIVE是讓資料彙總更加簡單和針對大容量資料的查詢和分析，提供了SWL來使得使用者可以更簡單查詢，彙總和資料分析

大資料開發之Hive篇----初始hive及hadoop簡單回顧

我們先簡單回顧一下hadoop： a，Hadoop是什麼：海量資料分散式的儲存和計算框架。其中資料的儲存是hdfs(Hadoop Distributed File System)，而計算是yarn/mapreduce。 b，Hadoop的訪問方式：shell，Java API，Web UI(

Spark2.2.0叢集搭建部署之【HADOOP叢集篇】

軟體準備資訊，詳見Spark2.2.0叢集搭建部署之【軟體準備篇】 基礎配置資訊，詳見Spark2.2.0叢集搭建部署之【基礎配置篇】 SSH無密訪問，詳見park2.2.0叢集搭建部署之【無密訪問篇】 將hadoop-2.7.7.tar.gz 進行解壓 tar -zxvf