一 前期準備

1. hadoop叢集

版本: 2.8.4

2 mysql

版本: 5.7.21

3 mysql驅動

版本: 5.1.46

4 hive安裝包

hive-3.1.0

二 hive安裝

1 解壓和配置

# 解壓
tar -zxvf apache-hive-3.1.0-bin.tar.gz 

# 配置
sudo vim /etc/profile

export HIVE_HOME=/home/hadoop/apache-hive-3.1.0-bin
export PATH=$HIVE_HOME/bin:$PATH

2 建立hdfs目錄並賦予許可權

hdfs dfs -mkdir -p /usr/hive/warehouse
hdfs dfs -mkdir -p /usr/hive/tmp
hdfs dfs -mkdir -p /usr/hive/log
hdfs dfs -chmod g+w /usr/hive/warehouse
hdfs dfs -chmod g+w /usr/hive/tmp
hdfs dfs -chmod g+w /usr/hive/log
 

3 hive-env.sh配置

#複製建立hive-env.sh
cd /home/hadoop/apache-hive-3.1.0-bin/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

# 在hive中新增如下內容
export JAVA_HOME=/opt/jdk1.8.0_161
export HADOOP_HOME=/home/hadoop/hadoop-2.8.4
export HIVE_HOME=/home/hadoop/apache-hive-3.1.0-bin
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib/*

 

4 hive-site.xml配置:

#生成hive-site.xml檔案
cp -r hive-default.xml.template hive-site.xml 
#配置
vi hive-site.xml

# 在檔案開頭新增如下內容:
<configuration>
  <property>
        <name>system:java.io.tmpdir</name>
        <value>/tmp/hive/java</value>
  </property>
  <property>
        <name>system:user.name</name>
        <value>${user.name}</value>
  </property>
</configuration>

# 修改以下屬性的value值

<configuration>
  <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
  <!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
  <!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
  <!-- Hive Execution Parameters -->
 <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.32.128:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>
</configuration>
 

5 使用schemaTool初始化mysql資料庫

schematool -dbType mysql -initSchema

三 啟動hive測試

# hive