2. 程式人生 > >Hive 入門

Hive 入門

阿新 • • 發佈：2018-12-12

Hive官網

Hive概述

Hive 的底層執行引擎有 ：MapReduce，Tez，Spark - Hive on MapReduce - Hive on Tez - Hive on spark

壓縮：GZIP,LZO,Snappy,Bzip2... 儲存：Textfile，SequenceFile，RcFile，ORC，Parquet UDF：自定義函式

image.png

為什麼要使用Hive： 簡單，容易上手(提供了類SQL的查詢語言HQL) 為超大資料集設計的計算/儲存擴充套件能力（MR計算,HDFS儲存） 統一的元資料管理（可與Pretso/Impala/SparkSQL資料共享）

Hive 的體系結構

1.Hive的元資料

image.png

2.HQL 的執行過程

  • 直譯器、編譯器、優化器完成HQL查詢語句從詞法分析、語法分析、編譯、優化以及查詢計劃（PLAN）的生產，生產的查詢計劃儲存在 HDFS中，並在隨後有MapReduce呼叫執行

image.png

3.體系結構

image.png

image.png

4.Hive 生產環境部署架構

image.png

Hive 安裝

image.png

1.嵌入入模式(元資料儲存在自己維護的dirbe資料庫)

解壓好資料夾後直接進入bin目錄執行hive指令碼
${HIVE_HOME}/bin/hive
複製程式碼

2.本地模式或者遠端模式(元資料儲存在本地或者遠端的mysql庫)

修改hive-site.xml

<!-- jdbc 引數 -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>

複製程式碼

Hive 管理

1.cli模式

# 進入cli
${HIVE_HOME}/bin/hive --service cli

# 1. Hive -S進入靜默模式，不會列印MapReduce作業除錯資訊
# 2. 一般情況下，hive執行SQL都會轉換成MapReduce作業進行執行，但是如果是使用select * 則不會轉換成mr任務
${HIVE_HOME}/bin/hive -S

# 不進入互動模式
${HIVE_HOME}/bin/hive -e {sql語句}

複製程式碼

2.web管理介面模式(只能做查詢)

  1. 進入hive的原始碼目錄的hwi目錄 ${HIVE_SRC_HOME}/hwi

  2. 將其打包編譯 mvn package(需要安裝mvn環境)

  3. 將打好的包放入${HIVE_HOME}/lib/ 目錄下

  4. 修改 hive_site.xml

<!-- web介面監聽的主機地址 -->
  <property>
  <name>hive.hwi.listen.host</name>
  <value>0.0.0.0</value>
  <description>This is the host address the Hive Web Interface will listen on</description>
</property>
 
 <!-- web介面監聽的埠 -->
<property>
  <name>hive.hwi.listen.port</name>
  <value>9999</value>
  <description>This is the port the Hive Web Interface will listen on</description>
</property>
 
 <!-- war包的位置 -->
<property>
  <name>hive.hwi.war.file</name>
  <value>${HIVE_HOME}/lib/hive-hwi-<version>.war</value>
  <description>This is the WAR file with the jsp content for Hive Web Interface</description>
</property>
複製程式碼

6.拷貝jdk目錄下的tools.jar 到hive的lib下

cp ${JAVA_HOME}/lib/tools.jar ${HIVE_HOME}/lib
複製程式碼
  1. 啟動web服務
${HIVE_HOME}/bin/hive --service hwi
複製程式碼

驗證：瀏覽器訪問 http://localhost:9999/hwi/

3.遠端連線

${HIVE_HOME}/bin/hive --service hiveserver
複製程式碼

資料型別

1.基本資料型別

image.png 

hive新版本中，新增了兩種字串型別 varchar和char
varchar(20) 最大長度是20 ，可伸縮
char(20) 固定長度20
複製程式碼

2.複雜資料型別

image.png 

create table student1
( sid int ,
  sname string,
  score array<float>
)

create table studetnt2
( sid int ,
  sname string,
  score map<string,float>
)

create table student3
( sid int ,
  info struct<name:string,age:int,sex:string>
)
複製程式碼

3.時間型別

image.png 

timestamp 與時區無關，是自從有了unix以來的偏移量
date 描述的是特定的日期 YYYY-MM-DD
複製程式碼

資料模型

1.資料儲存

  • 基於HDFS的 預設儲存在 /user/hive/warehouse/ 下
  • 沒有專門的資料儲存格式
sid sname
1 Tom
2 Mary

這張表在檔案中預設儲存為檔案，使用垂直製表符分割

1 Tom
2 Mary
複製程式碼
  • 儲存結構主要包括：資料庫 檔案 表 檢視
  • 可以直接載入文字檔案（.txt等）進行資料新增
  • 建立表時，可以指定Hive資料的列分隔符和行分隔符
  • 表
    · Table 內部表
    · Partition 分割槽表
    · External 外部表
    · Bucket Table 桶表
複製程式碼

2.詳解表

  • Table 內部表

image.png 

create table student1
( sid int ,
  sname string
)
location '${目錄}' 
row format  delimited fields terminated by '列分隔符'
複製程式碼

  • 分割槽表

image.png 

create table partition_table
(
    sid int,
    sname string
) 
partitioned by (gender string)
row format  delimited fields terminated by ',';
複製程式碼

  • 外部表

image.png

image.png 

create external table partition_table
(
    sid int,
    sname string
) 
row format  delimited fields terminated by ','
location '/input';

-- input 目錄中有相關資料
複製程式碼

  • 桶表

image.png
image.png 

create external table partition_table
(
    sid int,
    sname string
) 
clustered by({hash的欄位}) into {桶的數量} buckets

-- input 目錄中有相關資料
複製程式碼

3.檢視

image.png

image.png

Hive 的資料匯入

1.使用load語句匯入

LOAD DATE [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2)]
-- [LOCAL] 代表從本地檔案系統匯入，否則從HDFS中匯入
-- [OVERWRITE] 代表覆蓋原有的資料
-- [PARTITION] 代表分割槽
-- 如果filepah是一個檔案則匯入一個檔案的資料，如果是一個目錄，則匯入該目錄下所有的檔案
複製程式碼

2.Sqoop匯入

Sqoop官網

安裝步驟

  1. 下載並解壓
  2. 設定兩個環境變數
# hadoop目錄
export HADOOP_COMMON_HOME='/Users/gaowenfeng/software/hadoop-2.6.0-cdh5.7.0/'
# MP目錄
export HADOOP_MAPRED_HOME='/Users/gaowenfeng/software/hadoop-2.6.0-cdh5.7.0/'
# HIVE 目錄
export HIVE_CONF_HOME='/Users/gaowenfeng/software/hive-1.2.2/'
複製程式碼

3.使用Sqoop匯入Mysql資料到HDFS中

sqoop import --connect {jdbc_url} --username {username} --password {password} --table {table} --columns {col1,col2...} -m {mp程序數} --target-dir {path}
複製程式碼

4.使用Sqoop匯入Mysql資料Hive中

# 如果不指定表名，會在hive找那個建立一張表，表名與源表名一樣
sqoop import --hive-import --connect {jdbc_url} --username {username} --password {password} --table {table} --columns '{col1,col2...}' -m {mp程序數} --columns '{col1,col2...}' --table {target_table} --where '{where條件}' 
複製程式碼

5.使用Sqoop匯入Mysql資料到Hive中並使用查詢

# 如果不指定表名，會在hive找那個建立一張表，表名與源表名一樣
sqoop import --hive-import --connect {jdbc_url} --username {username} --password {password} --table {table} --columns '{col1,col2...}' -m {mp程序數} --columns '{col1,col2...}' --table {target_table} --query 'sql語句'

# sql語句必須有 and $CONDITIONS
複製程式碼

Hive 調優

-- 動態分割槽，根據插入的記錄自動分割槽
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
-- 並行執行，子查詢可以並行執行
SET hive.exec.parallel=true;
-- 計算結束以後將小檔案合併
SET hive.merge.mapredfiles=true;
-- 如果某個維表小於100000000B（100M),就做MAP關聯，不用到reduce階段
SET hive.mapjoin.smalltable.filesize=100000000;
-- 超時時間
SET mapred.task.timeout=1800000;
-- 新增自定義jar包
ADD jar viewfs://hadoop-meituan/user/hadoop-hotel/user_upload/gaowenfeng02_hive-udf-zhaoxiang.jar;
-- 建立UDF
CREATE TEMPORARY FUNCTION get_tag_list as 'com.meituan.hive.udf.common.ResolveTagUdf';

-- map jvm記憶體設定3G
-- SET mapred.map.child.java.opts="-Xmx3072m"; 
-- map task 的記憶體 約等於4G
-- SET mapreduce.map.memory.mb=4000;
-- reduce jvm記憶體設定3G
-- SET mapred.reduce.child.java.opts="-Xmx3072m";
-- reduce task 的記憶體 約等於4G
-- SET mapreduce.reduce.memory.mb=4000;
複製程式碼

Hive教程：www.yiibai.com/hive/

ETL的優化

hive.exec.reducers.bytes.per.reducer    這個引數控制一個job會有多少個reducer來處理，依據的是輸入檔案的總大小。預設1GB。（即每個reduce任務處理的資料量。）

hive.exec.reducers.max     這個引數控制最大的reducer的數量， 如果 input / bytes per reduce > max  則會啟動這個引數所指定的reduce個數。  這個並不會影響mapre.reduce.tasks引數的設定。預設的max是999。

mapred.reduce.tasks  這個引數如果指定了，hive就不會用它的estimation函式來自動計算reduce的個數，而是用這個引數來啟動reducer。預設是-1.

reduce的個數設定其實對執行效率有很大的影響： 1、如果reduce太少： 如果資料量很大，會導致這個reduce異常的慢，從而導致這個任務不能結束，也有可能會OOM 2、如果reduce太多： 產生的小檔案太多，合併起來代價太高，namenode的記憶體佔用也會增大。

如果我們不指定mapred.reduce.tasks， hive會自動計算需要多少個reducer。 計算的公式：  reduce個數 =  InputFileSize   /   bytes per reducer

mapreduce.map.memory.mb    每個Map Task需要的記憶體量 mapreduce.reduce.memory.mb    每個Reduce Task需要的記憶體量

檢視任務執行的日誌： XT平臺生產運維欄目中，排程管理下的執行日誌 測試引數：

  • -delta 1 -v

測試的表名：ba_hotel_test.topic_log_mt_order_trade_entrance 線上的表名：ba_hotel.topic_log_mt_order_trade_entrance 測試流量：頁面流量，模組流量（某個頁面之前前的頁面流量一定是大於該頁面的流量）

任務流程—測試及上線： 測試完再上線，測試包括線下測試和線上測試 提交稽核，稽核通過後就自動上線了 在XT平臺中，該任務下點執行計劃，再進行線上測試

map、reduce java程式碼講解 ba_hotel.topic_log_mt_order_trade_entrance.mpt_track ba_hotel.topic_log_mt_order_trade_entrance.patch_track ba_hotel.topic_log_mt_order_trade_entrance.mge_track

ba_travel.topic_log_tag_moudle fact_log_tag_pv

優化排查： 1.最後一個map少，時間長 2.reduce一直在99%，發生了資料傾斜 3.job交接時間長，說明碎片多

優化： 1.ETL語句執行問題：問Hadoop小客服 2.子查詢，精簡資料 3.子查詢之間的關聯，是否資料傾斜 4.引數調高

測試程式碼： 線上庫： select count(uuid),       count(DISTINCT uuid)  from ba_hotel.topic_log_mt_order_trade_entrance where datekey='20180422'   and partition_entrance_type= 'mpt' limit 10 測試庫： select count(uuid),       count(DISTINCT uuid)  from ba_hotel_test.topic_log_mt_order_trade_entrance where datekey='20180422'   and partition_entrance_type= 'mpt'

相關推薦

Hive入門知識

不支持 應用設計 行數 數據 常用 net 倉庫 oal 報錯 Hive 是建立在 Hadoop 上的數據倉庫基礎構架，它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。由於 Hive 是針

Hive入門小結

映射關系 odin -c 指令 data conf -s () table HIve總結： 首先要學習Hive，第一步是了解Hive，Hive是基於Hadoop的一個數據倉庫，可以將結構化的數據文件映射為一張表，並提供類sql查詢功能，Hive底層將sql語句轉化為mapr

hive入門（一）、什麽是hive

作業 strong 包括 麻煩 倉庫 離線 享元 tor 減少 1、Hive 基本概念 Hive是基於Hadoop的一個 數據倉庫工具，可以將結構化的數據文件映射成一張表，並提供類SQL查詢功能； Hive是構建在Hadoop 之上的數據倉庫； 使用HQL作為查詢接口；使

Hive 入門學習線路指導

nbsp read 大致 講解 完整 作用 serve 支持 dql hive被大多數企業使用，學習它，利於自己掌握企業所使用的技術，這裏從安裝使用到概念、原理及如何使用遇到的問題，來講解hive，希望對大家有所幫助。 此篇內容較多：看完之後需要達到的目標： 1.h

hive入門環境啟動測試實戰

首先啟動hadoop（存放hive表資料），spark可以不用啟動  /usr/local/hadoop/sbin/start-all.sh  /usr/local/spark/sbin/start-all.sh 啟動mysql（metastore存hive元資料）

大資料數倉之Hive入門《一》

一 、Hive 基本概念 1.1 什麼是 Hive Hive：由 Facebook 開源用於解決海量結構化日誌的資料統計。它是基於 Hadoop 的一個數據倉庫工具，可以將結構化的資料檔案對映為一張表，並提供類 SQL 查詢功能。 本質就是：將HQL 轉化成 MapReduce 程式 1

Hive入門(一)

一.資料倉庫和資料庫的區別 資料倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、整合的（Integrate）、相對穩定的（Non-Volatile）、反映歷史變化（Time Variant）的資料集合，用於支援管理決策

Hive入門詳解

簡介 Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的資料檔案對映為一張資料庫表，並提供類SQL查詢功能 安裝Hive 將hive安裝到hadoop的同級目錄下 tar -zxvf apache-hive-2.3.3-bin.tar.gz -C

Hive 入門

Hive官網 Hive概述 Hive 的底層執行引擎有 ：MapReduce，Tez，Spark - Hive on MapReduce - Hive on Tez - Hive on spark 壓縮：GZIP,LZO,Snappy,Bzip2... 儲存：Textfile，SequenceFile，

Hive入門初體驗

一.將本地檔案匯入Hive案例 在本地建立一張student.txt 在Hive中建立一個student表 匯入本地student.txt到student表  load data local inpath "/root/apps/hive-1.2.2/data/

Hive入門小結轉發

HIve總結：首先要學習Hive，第一步是瞭解Hive，Hive是基於Hadoop的一個數據倉庫，可以將結構化的資料檔案對映為一張表，並提供類sql查詢功能，Hive底層將sql語句轉化為mapreduce任務執行。相對於用java程式碼編寫mapreduce來說，Hive的優勢明顯：快速開發，人員成本低，可

Hive入門（2）

1.Hive DDL 1.1 database DDL （1） 建立資料庫 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name //生產中if not exists都帶上   [COMMENT d

HIVE入門之資料模型

內部表 內部表(Table) -與資料庫的Table在概念上類似 -每一個Table在Hive中都有一個相應的目錄(HDFS上的目錄)儲存資料 -所有的Table資料(不包括External Table)都儲存在這個目錄(HDFS目錄)中 -表的元資料資訊，儲存在元資料資

Hive入門之資料型別

基本資料型別 tinyint/smallint/int/bigint //整數型別float/double //浮點數型別boolean //布林型別string //字串型別案例1：>cre

Hive入門及常用指令

Hive 最近在公司實習，對hive進行了學習，做了些整理的筆記。 基礎命令 show databases; # 檢視某個資料庫 use 資料庫; # 進入某個資料庫 show tables; # 展示所有表 desc 表名;

Hive 基礎入門

加載 http 基礎入門 沒有 運行 轉化 自定義 函數 images Hive的官方網站： 　　　　　　https://hive.apache.org/ Hive簡介： 　　　　　　Hive 是基於Hadoop 的一個數據倉庫工具，可以將結構化的數據文件映射成一張表，並提

大資料開發----Hive（入門篇）

前言 本篇介紹Hive的一些常用知識。要說和網上其他manual的區別，那就是這是筆者寫的一套成體系的文件，不是隨心所欲而作。 本文所用的環境為： CentOS 6.5 64位 Hive 2.1.1 Java 1.8 Hive Arc

大資料入門（15）hive簡介和配置

1、上傳檔案，解壓到app 下     tar  -zxvf  檔案   -C   app 2、不配置檔案的情況下    啟動 ：./hive   (目錄：/home/admin/app/hive

大資料入門教程系列之Hive篇彙總

大資料入門教程系列之Hive篇彙總 1、Hive概述、體系架構、分割槽、桶與傾斜 2、大資料入門教程系列之Hive環境搭建--Linux(Centons7)下配置安裝Hive 3、Hive DDL DML及SQL操作 4、Hadoop2.7.4 編譯 支援5種壓縮（Hive壓縮）

大資料入門教程系列之Hive內建函式及自定義函式

本篇文章主要介紹Hive內建函式以及自定義UDF函式和UDFT函式，自定義UDF函式通過一個國際轉換中文的例子說明。 操作步驟： ①、準備資料和環境 ②、演示Hive內建函式 ③、自定義UDF函式編寫、演示   詳細步驟： 一、準備資料和