centos7安裝Hive2.3.0
1、下載Hive2.3.0
wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz
- 1
2、解壓到指定安裝目錄
tar -zxvf apache-hive-2.3.0-bin.tar.gz
mv apache-hive-2.3.0-bin /usr/local/hive
cd /usr/local/hive
- 1
- 2
- 3
3、配置/etc/profile,在/etc/profile中新增如下語句
export HIVE_HOME=/usr/local/hive export PATH=$HIVE_HOME/bin:$PATH
- 1
- 2
使之生效
source /etc/profile
- 1
4、安裝MySQL資料庫
5、建立metastore資料庫併為其授權
create database metastore;
grant all on metastore.* to [email protected]'%' identified by 'hive';
grant all on metastore.* to [email protected]'localhost' identified by 'hive';
flush privileges;
- 1
- 2
- 3
- 4
6、 下載jdbc connector
下載完成之後將其拷貝至$HIVE_HOME/lib目錄下
mv mysql-connector-java-5.1.43.tar.gz $HIVE_HOME/lib
- 1
7、修改hive配置檔案
cd /usr/local/hive/conf
- 1
7.1複製初始化檔案並重改名
cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml cp hive-log4j2.properties.template hive-log4j2.properties cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
- 1
- 2
- 3
- 4
7.2修改hive-env.sh
export JAVA_HOME=/usr/local/jdk1.7.0_80 ##Java路徑
export HADOOP_HOME=/usr/local/hadoop ##Hadoop安裝路徑
export HIVE_HOME=/usr/local/hive ##Hive安裝路徑
export HIVE_CONF_DIR=/usr/local/hive/conf ##Hive配置檔案路徑
- 1
- 2
- 3
- 4
7.3在hdfs 中建立下面的目錄 ,並且授權
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp
hdfs dfs -mkdir -p /user/hive/log
hdfs dfs -chmod -R 777 /user/hive/warehouse
hdfs dfs -chmod -R 777 /user/hive/tmp
hdfs dfs -chmod -R 777 /user/hive/log
- 1
- 2
- 3
- 4
- 5
- 6
7.4修改hive-site.xml
<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/user/hive/log</value>
</property>
## 配置 MySQL 資料庫連線資訊
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
7.5 建立tmp檔案
mkdir /home/hadoop/hive-2.1.1/tmp
- 1
並在hive-site.xml中修改:
把{system:java.io.tmpdir} 改成 /home/hadoop/hive-2.1.1/tmp/
把 {system:user.name} 改成 {user.name}
- 1
- 2
- 3
8、初始化hive
schematool -dbType mysql -initSchema hive hive
- 1
9、啟動hive
下面介紹有兩種啟動方式:
9.1 hive CLI
hive
- 1
9.2 beeline
9.2.1 啟動hiveserver2
nohup hiveserver2 &
- 1
9.2.2 檢視hiveserver2啟動狀態
netstat -nptl | grep 10000
- 1
9.2.3 啟動beeline
beeline
- 1
9.2.4連線hive
!connect jdbc:hive2://localhost:10000 hive hive
- 1
9.2.5 檢視資料庫
show databases;
- 1
10、安裝時遇到的問題
10.1 在對資料庫表進行查詢、插入操作時出現下列異常:
Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "main"
- 1
原因:客戶端記憶體不夠。
解決方法:適當增加記憶體
在hadoop-env.sh中修改屬性HADOOP_CLIENT_OPTS的值,預設值為1024MB,可以根據實際記憶體大小對其進行修改,我的記憶體為8G,所以我將其修改為4096MB
export HADOOP_HEAPSIZE=4096
- 1
10.2Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000: java.net.ConnectException: Connection refused (state=08S01,code=0)
原因:hiveserver2沒有啟動
解決方案:啟動hiveserver2
nohup hiveserver2 &
相關推薦
centos7安裝Hive2.3.0
1、下載Hive2.3.0 wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz 1 2、解壓到指定安裝目錄 tar -zxvf apache-hive-2.3
ubuntu 安裝hive2.3.0
1、到Apache官網下載hive2.3.0壓縮包,並解壓 我的放在/chenjie/apache-hive-2.3.0-bin下 下載地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.0/apa
centos7安裝redis-3.0.4叢集
建立6個redis節點,其中3個為主節點,3個為從節點。 redis節點的ip和埠對應關係如下: 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.
Centos7.3 安裝 OpenCV3.3.0
.org file reat rec -o 再次 nbsp logs creat 一開始會出現這個錯誤: 1 CMake Error at CMakeLists.txt:11 (message): 2 3 4 FATAL: In-source b
Centos7.2.1511安裝Zabbix 3.0
linux centos7 zabbix Centos7.2.1511安裝Zabbix 3.0 先在虛擬機中安裝好CentOS 7.2.1511,並設置好IP,允許虛擬機聯網。查看系統版本 cat /etc/redhat-release 1.安裝MySQL從最新版本的linux系統開始,默認的是
centos7.2編譯安裝zabbix-3.0.4
www 服務啟動 min asi com 修改配置 size ldap word 安裝zabbix-3.0.4 #安裝必備的包 yum -y install gcc* make php php-gd php-mysql php-bcmath php-mbstring php
Centos7 單機安裝Elasticsearch6.3.0
設置 表達 應該 bili zip val 否支持 allow else 安裝Elasticsearch至少需要JAVA1.8以上的版本,這裏直接用yum安裝 1 # yum -y install java-1.8.0-openjdk.x86_64 j
Linux-CentOS7下安裝Elasticsearch6.3.0超詳細步驟
檢測是否安裝了Elasticsearch ps aux|grep elasticsearch 1、安裝JDK Elastic 需要 Java 8 環境 安裝JDK具體操作,請點選連結 2、下載Elasticsearch wget https://artifacts.elast
Centos7.x下安裝Zabbix 3.0
環境:Centos7.x 64位,選擇7.x是因為7版本以上的PHP版本為5.4,不需要升級PHP版本。 1、安裝Apache [[email protected] ~]# yum install httpd 2、安裝MySQL的源和Zabbix的源
CentOS7.2 安裝redis 3.0.6叢集
1.環境確認 a.系統版本檢視 [[email protected] ~]$ cat /etc/redhat-release CentOS Li
Centos7下安裝 TensorFlow1.3.0
1.檢視Centos版本 以下華為雲伺服器官網顯示的簡略資訊: 命令列檢視的結果: cat /etc/centos-release 我租的華為雲伺服器自帶Python2.7 2.檢視P
linux CentOS7 安裝 RabbitMQ 3.6.3, Erlang 19.0
1. 安裝erlang 安裝依賴環境 yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel unixODBC-devel 下載最新 Erlang 19.0 wget http
[Hadoop] CentOS7安裝Zookeeper-3.4.5-cdh5.7.0(單節點)
1. Zookeeper下載安裝 我的環境使用的套件版本是cdh5.7,所以zookeeper也選擇對應的版本下載。 下載解壓 [[email protected] software]$ wget http://archive.cloudera.com/c
Centos7下安裝zabbix 3.0.19
參考網站: https://www.cnblogs.com/xiewenming/p/7732144.html https://www.cnblogs.com/clsn/p/7885990.html Zabbix 3.0 從入門到精通(zabbix使用詳解) https://yq
Linux(centos7)安裝maven3.3.9
maven1.創建一個maven文件夾mkdir /usr/java/maven2.下載maven軟件 (官網http://maven.apache.org/download.cgi)wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.9/binari
CentOS 7安裝Hadoop 3.0.0
new eno oot 更新 ron 去掉 網上 服務器 keyword 最近在學習大數據,需要安裝Hadoop,自己弄了好久,最後終於弄好了。網上也有很多文章關於安裝Hadoop的,但總會遇到一些問題,所以把在CentOS 7安裝Hadoop 3.0.0的整個過程記錄下來
Centos7 安裝mysql-8.0.13(rpm)
net-tools 裝包 pen reboot sys rpm -ivh cli arc mys yum or rpm? yum安裝方式很方便,但是下載mysql的時候從官網下載,速度較慢。 rpm安裝方式可以從國內鏡像下載mysql的rpm包,比較快。rpm也適合離線安裝
Centos7安裝tomcat-7.0.56和熱部署
一、tomcat安裝 按照上一篇的Centos7安裝JDK的方法將檔案從主機下載到Centos7的下載目錄下。 安裝包名稱為:apache-tomcat-7.0.56.zip 解壓檔案到usr/local下面 $ su - # cd /usr/local # cp /hom
mac10.12.6系統使用cmake安裝opencv3.3.0+opencv_contrib-3.3.0
brew與cmake brew安裝 /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" brew解除安裝 /usr/bin/ruby -e "$(curl
CentOS7x64上yum安裝Zabbix 3.0
轉載: Zabbix開源社群 01、最小化安裝作業系統 02、升級系統元件到最新版本: yum -y update 03、關閉 SELinux: sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config 04