1. 程式人生 > >hive安裝及mysql配置

hive安裝及mysql配置

一、Hive安裝

1.解壓hive,移動到指定目錄下
配置環境變數

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin

2.在hive/conf目錄下

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

3.修改hive-env.sh
因為 Hive 使用了 Hadoop, 需要在 hive-env.sh 檔案中指定 Hadoop 安裝路徑:

export JAVA_HOME=/usr/java    ##Java路徑
export HADOOP_HOME=/usr/local/hadoop   ##Hadoop安裝路徑
export HIVE_HOME=/usr/local/hive    ##Hive安裝路徑
export HIVE_CONF_DIR=/usr/local/hive/conf    ##Hive配置檔案路徑

二、MySQL安裝

CentOS7預設資料庫是mariadb,配置等用著不習慣,因此決定改成mysql,但是CentOS7的yum源中預設好像是沒有mysql的。為了解決這個問題,我們要先下載mysql的repo源。

1.下載mysql的repo源

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

2.安裝mysql-community-release-el7-5.noarch.rpm包

$ sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm

安裝這個包後,會獲得兩個mysql的yum repo源:

/etc/yum.repos.d/mysql-community.repo
/etc/yum.repos.d/mysql-community-source.repo

3.安裝mysql

$ sudo yum install mysql-server

根據提示安裝就可以了,不過安裝完成後沒有密碼,需要重置密碼

4.重置mysql密碼

$ mysql -u root

登入時有可能報這樣的錯:

ERROR 2002 (HY000): Can‘t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock‘ (2)

原因是/var/lib/mysql的訪問許可權問題。下面的命令把/var/lib/mysql的擁有者改為當前使用者:

$ sudo chown -R root:root /var/lib/mysql

5.重啟mysql服務

$ service mysqld restart

6.接下來登入重置

$ mysql -u root  //直接回車進入mysql控制檯
mysql > use mysql;
mysql > update user set password=password('123456') where user='root';
mysql > exit;

三、建立HDFS目錄

在 Hive 中建立表之前需要建立以下 HDFS 目錄並給它們賦相應的許可權。

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp
hdfs dfs -mkdir -p /user/hive/log
hdfs dfs -chmod g+w /user/hive/warehouse
hdfs dfs -chmod g+w /usr/hive/tmp
hdfs dfs -chmod g+w /usr/hive/log

四、配置jdbc的驅動

五、Hive Metastore配置

預設情況下, Hive 的元資料儲存在內嵌的 Derby 資料庫裡, 但一般情況下生產環境會使用 MySQL 來存放 Hive 元資料。

1.建立資料庫和使用者

假定你已經安裝好 MySQL。下面建立一個 hive 資料庫用來儲存 Hive 元資料,且資料庫訪問的使用者名稱和密碼都為 hive。

mysql> CREATE DATABASE hive; 
mysql> USE hive; 
mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';
mysql> GRANT ALL ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive'; 
mysql> GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive'; 
mysql> FLUSH PRIVILEGES; 
mysql> quit;

2.修改hive-site.xml

然後在配置檔案hive-site.xml中,把所有的${system:java.io.tmpdir} 都替換為/usr/local/hive/tmp,把所有的${system:user.name}替換為${user.name}
直接修改為下面這樣也可以,注意使用者名稱和密碼,對應上一步中mysql建立的使用者名稱和密碼

 <property>
    <name>hive.exec.scratchdir</name>
    <value>/user/hive/tmp</value>
</property>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
</property>
<property>
    <name>hive.querylog.location</name>
    <value>/user/hive/log</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
</property>

3.建立/usr/local/hive/tmp資料夾

mkdir /usr/local/hive/tmp

4.執行Hive

在命令列執行 hive 命令時必須保證以下兩點:

  • HDFS 已經啟動。可以使用 start-dfs.sh 指令碼來啟動 HDFS。
  • 執行 schematool 命令來執行初始化操作。

    schematool -dbType mysql -initSchema
    

相關推薦

hive安裝mysql配置

一、Hive安裝 1.解壓hive,移動到指定目錄下 配置環境變數 export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin 2.在hive/conf目錄下 cp hive-en

Hive(一)---- Hive安裝配置

joins hist query mysqld onf pass chmod 客戶 主機 Hive安裝及配置 下載hive安裝包 此處以hive-0.13.1-cdh5.3.6版本的為例,包名為:hive-0.13.1-cdh5.3.6.tar.gz 解壓Hive到安裝目錄

MySQL安裝後續配置

default mysq my.cnf 服務 art 中文亂碼問題 5.1 entos 配置文件 p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; text-align: justify; font: 12.0px Helvetica; col

Virtual Box虛擬機器Ubuntu18.X系統安裝Mysql基本開發配置

Linux簡介 什麼是 Linux?   Linux:世界上不僅只有一個 Windows 作業系統,還有 Linux、mac、Unix 等作業系統。桌面作業系統下 Windows 是霸主,而 Linux 的桌面作業系統用的人很少,因為 Windows 有的很多軟體在 Linux 下沒有或者很弱;伺服器

MySQL資料庫安裝基本配置

CentOS6和RHEL6系統的YUM中包含了MySQL安裝包,版本是MySQL5。rpm軟體包的名稱是mysql-server。 使用以下命令可以安裝MySQL資料庫: yum install -y mysql-server 安裝完成後我們可以通過以下命令啟動M

python環境搭建,pycharm的配置,django安裝MySQL資料庫配置

原文轉載自:http://www.cnblogs.com/hwtmhj/p/6746151.html 本人在安裝Django的時候,試了很多安裝教程均出錯,選在這篇博文的的方法二(pycharm中利用其強大的類庫進行安裝)沒有出錯! 近期做那個python的開發,今天就來

MySQL的下載安裝eclipse配置+jdbc

輸入之前設定的密碼,空密碼的可以直接回車進入。(英文輸入,中文輸入如果有字母和數字的組合你懂得)首先,我們通過執行sql語句來建立一個數據庫:create database demo;//建立一個名為demo的資料庫,use demo;//指定demo為當前要操作的資料庫create table user (

Hive安裝配置

一、安裝  1、        下載安裝hive hive-0.11.0.tar.gz(穩定版) 目錄:/data tar –zxvf hive-0.11.0.tar.gz 2、        配置 把所有的模板檔案copy一份                  

Node.js安裝環境配置之Windows篇

npm安裝 data- 緩存 裏的 環境配置 cmd命令 服務 string ext 1、本機系統:Windows 10 Pro(64位)2、Node.js:v6.9.2LTS(64位) 二、安裝Node.js步驟 1、下載對應你系統的Node.js版本:https:/

redis安裝主從配置

redis;redis主從配置一、redis介紹 redis是一個key-value存儲系統。和Memcached類似,它支持存儲的value類型相對更多,包括string(字符串)、list(鏈表)、set(集合)和zset(有序集合)。這些數據類型都支持push/pop、add/remove及取交集並

docker安裝加速配置

console epo client target centos sha 版本 json uname 需要centos7版本[[email protected]/* */ ~]# uname -r3.10.0-514.el7.x86_64 第一步:更新當前軟件

Node.js安裝環境配置(windows)

glob node mod script es2017 lob target 技術分享 系統 1.Node.js簡介  簡單的說 Node.js 就是運行在服務端的 JavaScript。Node.js 是一個基於 Chrome V8 引擎的 JavaScript 運行環境

Jmeter安裝環境配置

系統 post java版 apach oracl 2.0 r環境 ora 新建 Jmeter下載地址:http://jmeter.apache.org/download_jmeter.cgi 這裏註意Source和Binaries兩種下載分類 Source 是源

liunx修煉第一天【1.1系統的安裝相關配置

初學者 運維小白一、CentOS推薦版本說明: CentOS-7.0-x86_64-DVD-1503-01.iso : 標準安裝版,一般下載這個就可以了(推薦) CentOS-7.0-x86_64-Everything-1503-01.iso: 對完整版安裝盤的軟件進行補充,集成所有軟件。(包含centos

mongodb的安裝環境配置

網址 bubuko control nbsp 下載 層級 com exist install 一 下載   官網:https://fastdl.mongodb.org/win32/mongodb-win32-x86_64-2008plus-ssl-3.6.3-signed

nodejs之路-[0]安裝簡易配置

路徑 AC 創建 環境 開篇 nload ubun 版本 .net 題外話: 之前寫過ubuntu下編譯nodejs… 傳送門:Ubuntu15.04編譯安裝no

CentOS7環境下GitLab安裝基本配置

tro 用戶 etc 進入 註意 AD centos systemctl rpm -ivh   新實驗室要求重新建設GitLab,對於我來講,是第一次有機會當元老參與實驗室的建設。下面分享我自己的實測經驗: 1. 安裝依賴軟件並設置開機啟動 yum install curl

mongodb的安裝主從配置

mkdir -p 集合 shell 運行 -s -m tle obj unit 一、mongodb安裝1.下載mongodblinux版本 https://www.mongodb.com/download-center#community2.解壓tar xvf mongod

Windows下node.js安裝環境配置

.org 來安 直接 當前 ejs pre 官網 命令 環境 1. 安裝 官網下載node.js的安裝版,一路next,中間可以自定義安裝路徑 完成後安裝目錄內容如下 cmd下檢查是否安裝成功 新版Node.js已自帶npm,所以安裝Node.js

Node.js 安裝環境配置之 Windows 篇

per 完成後 reg 瀏覽器中 expressjs ext mod 企業 developer 一、安裝環境 1、本機系統:Windows 10 企業版(64位)2、Node.js:node-v8.9.4-x64.msi(64位) 二、安裝Node.js步驟 1、