1. 程式人生 > >centos7安裝Hive2.3.0

centos7安裝Hive2.3.0

1、下載Hive2.3.0

wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz
  • 1

2、解壓到指定安裝目錄

tar -zxvf apache-hive-2.3.0-bin.tar.gz
mv apache-hive-2.3.0-bin /usr/local/hive
cd /usr/local/hive
  • 1
  • 2
  • 3

3、配置/etc/profile,在/etc/profile中新增如下語句

export HIVE_HOME=/usr/local/hive
export PATH=$HIVE_HOME/bin:$PATH
  • 1
  • 2

使之生效

source /etc/profile 
  • 1

4、安裝MySQL資料庫

5、建立metastore資料庫併為其授權

create database metastore;
grant all on metastore.* to [email protected]'%'  identified by 'hive';
grant all on metastore.* to [email protected]'localhost'  identified by 'hive';
flush privileges;
  • 1
  • 2
  • 3
  • 4

6、 下載jdbc connector

這裡寫圖片描述

下載完成之後將其拷貝至$HIVE_HOME/lib目錄下

mv mysql-connector-java-5.1.43.tar.gz $HIVE_HOME/lib
  • 1

7、修改hive配置檔案

cd /usr/local/hive/conf
  • 1

7.1複製初始化檔案並重改名

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
  • 1
  • 2
  • 3
  • 4

7.2修改hive-env.sh

export JAVA_HOME=/usr/local/jdk1.7.0_80    ##Java路徑
export HADOOP_HOME=/usr/local/hadoop   ##Hadoop安裝路徑
export HIVE_HOME=/usr/local/hive    ##Hive安裝路徑
export HIVE_CONF_DIR=/usr/local/hive/conf    ##Hive配置檔案路徑
  • 1
  • 2
  • 3
  • 4

7.3在hdfs 中建立下面的目錄 ,並且授權

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp
hdfs dfs -mkdir -p /user/hive/log
hdfs dfs -chmod -R 777 /user/hive/warehouse
hdfs dfs -chmod -R 777 /user/hive/tmp
hdfs dfs -chmod -R 777 /user/hive/log
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

7.4修改hive-site.xml

<property>
    <name>hive.exec.scratchdir</name>
    <value>/user/hive/tmp</value>
</property>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
</property>
<property>
    <name>hive.querylog.location</name>
    <value>/user/hive/log</value>
</property>

## 配置 MySQL 資料庫連線資訊
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
  </property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30

7.5 建立tmp檔案

 mkdir /home/hadoop/hive-2.1.1/tmp
  • 1

並在hive-site.xml中修改:

把{system:java.io.tmpdir} 改成 /home/hadoop/hive-2.1.1/tmp/

把 {system:user.name} 改成 {user.name}
  • 1
  • 2
  • 3

8、初始化hive

schematool -dbType mysql -initSchema hive hive
  • 1

9、啟動hive

下面介紹有兩種啟動方式: 
9.1 hive CLI

hive
  • 1

9.2 beeline

9.2.1 啟動hiveserver2

nohup hiveserver2 &
  • 1

9.2.2 檢視hiveserver2啟動狀態

netstat -nptl | grep 10000
  • 1

這裡寫圖片描述

9.2.3 啟動beeline

beeline
  • 1

這裡寫圖片描述

9.2.4連線hive

!connect jdbc:hive2://localhost:10000 hive hive
  • 1

這裡寫圖片描述

9.2.5 檢視資料庫

show databases;
  • 1

這裡寫圖片描述

10、安裝時遇到的問題

10.1 在對資料庫表進行查詢、插入操作時出現下列異常:

 Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "main"
  • 1

原因:客戶端記憶體不夠。 
解決方法:適當增加記憶體 
在hadoop-env.sh中修改屬性HADOOP_CLIENT_OPTS的值,預設值為1024MB,可以根據實際記憶體大小對其進行修改,我的記憶體為8G,所以我將其修改為4096MB

export HADOOP_HEAPSIZE=4096
  • 1

10.2Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000: java.net.ConnectException: Connection refused (state=08S01,code=0)

這裡寫圖片描述

原因:hiveserver2沒有啟動 
解決方案:啟動hiveserver2

nohup hiveserver2 &

相關推薦

centos7安裝Hive2.3.0

1、下載Hive2.3.0 wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz 1 2、解壓到指定安裝目錄 tar -zxvf apache-hive-2.3

ubuntu 安裝hive2.3.0

1、到Apache官網下載hive2.3.0壓縮包,並解壓 我的放在/chenjie/apache-hive-2.3.0-bin下 下載地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.0/apa

centos7安裝redis-3.0.4叢集

        建立6個redis節點,其中3個為主節點,3個為從節點。 redis節點的ip和埠對應關係如下: 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.

Centos7.3 安裝 OpenCV3.3.0

.org file reat rec -o 再次 nbsp logs creat 一開始會出現這個錯誤: 1 CMake Error at CMakeLists.txt:11 (message): 2 3 4 FATAL: In-source b

Centos7.2.1511安裝Zabbix 3.0

linux centos7 zabbix Centos7.2.1511安裝Zabbix 3.0 先在虛擬機中安裝好CentOS 7.2.1511,並設置好IP,允許虛擬機聯網。查看系統版本 cat /etc/redhat-release 1.安裝MySQL從最新版本的linux系統開始,默認的是

centos7.2編譯安裝zabbix-3.0.4

www 服務啟動 min asi com 修改配置 size ldap word 安裝zabbix-3.0.4 #安裝必備的包 yum -y install gcc* make php php-gd php-mysql php-bcmath php-mbstring php

Centos7 單機安裝Elasticsearch6.3.0

設置 表達 應該 bili zip val 否支持 allow else 安裝Elasticsearch至少需要JAVA1.8以上的版本,這裏直接用yum安裝 1 # yum -y install java-1.8.0-openjdk.x86_64 j

Linux-CentOS7安裝Elasticsearch6.3.0超詳細步驟

檢測是否安裝了Elasticsearch ps aux|grep elasticsearch 1、安裝JDK Elastic 需要 Java 8 環境 安裝JDK具體操作,請點選連結 2、下載Elasticsearch wget https://artifacts.elast

Centos7.x下安裝Zabbix 3.0

環境:Centos7.x 64位,選擇7.x是因為7版本以上的PHP版本為5.4,不需要升級PHP版本。   1、安裝Apache [[email protected] ~]# yum install httpd 2、安裝MySQL的源和Zabbix的源

CentOS7.2 安裝redis 3.0.6叢集

1.環境確認 a.系統版本檢視 [[email protected] ~]$ cat /etc/redhat-release CentOS Li

Centos7安裝 TensorFlow1.3.0

1.檢視Centos版本 以下華為雲伺服器官網顯示的簡略資訊: 命令列檢視的結果: cat /etc/centos-release 我租的華為雲伺服器自帶Python2.7 2.檢視P

linux CentOS7 安裝 RabbitMQ 3.6.3, Erlang 19.0

1. 安裝erlang  安裝依賴環境 yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel unixODBC-devel 下載最新 Erlang 19.0 wget http

[Hadoop] CentOS7安裝Zookeeper-3.4.5-cdh5.7.0(單節點)

  1. Zookeeper下載安裝 我的環境使用的套件版本是cdh5.7,所以zookeeper也選擇對應的版本下載。 下載解壓 [[email protected] software]$ wget http://archive.cloudera.com/c

Centos7安裝zabbix 3.0.19

參考網站: https://www.cnblogs.com/xiewenming/p/7732144.html https://www.cnblogs.com/clsn/p/7885990.html                Zabbix 3.0 從入門到精通(zabbix使用詳解) https://yq

Linux(centos7)安裝maven3.3.9

maven1.創建一個maven文件夾mkdir /usr/java/maven2.下載maven軟件 (官網http://maven.apache.org/download.cgi)wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.9/binari

CentOS 7安裝Hadoop 3.0.0

new eno oot 更新 ron 去掉 網上 服務器 keyword 最近在學習大數據,需要安裝Hadoop,自己弄了好久,最後終於弄好了。網上也有很多文章關於安裝Hadoop的,但總會遇到一些問題,所以把在CentOS 7安裝Hadoop 3.0.0的整個過程記錄下來

Centos7 安裝mysql-8.0.13(rpm)

net-tools 裝包 pen reboot sys rpm -ivh cli arc mys yum or rpm? yum安裝方式很方便,但是下載mysql的時候從官網下載,速度較慢。 rpm安裝方式可以從國內鏡像下載mysql的rpm包,比較快。rpm也適合離線安裝

Centos7安裝tomcat-7.0.56和熱部署

一、tomcat安裝 按照上一篇的Centos7安裝JDK的方法將檔案從主機下載到Centos7的下載目錄下。 安裝包名稱為:apache-tomcat-7.0.56.zip 解壓檔案到usr/local下面 $ su - # cd /usr/local # cp /hom

mac10.12.6系統使用cmake安裝opencv3.3.0+opencv_contrib-3.3.0

brew與cmake brew安裝 /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" brew解除安裝 /usr/bin/ruby -e "$(curl

CentOS7x64上yum安裝Zabbix 3.0

轉載: Zabbix開源社群 01、最小化安裝作業系統 02、升級系統元件到最新版本: yum -y update 03、關閉 SELinux: sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config 04