2. 程式人生 > >基於Hadoop分散式叢集部署Hive2.3

基於Hadoop分散式叢集部署Hive2.3

阿新 • • 發佈：2018-12-19

1. 基於docker安裝mysql

由於自己以前在Ubuntu kylin 16.04的系統上安裝mysql5.7一直有問題，後來學會了使用docker安裝mysql。覺得這個方法很方便，所以這次繼續使用docker安裝mysql。 ① 安裝docker 參考自己以前撰寫的部落格：Ubuntu Kylin 16.04 安裝docker（使用阿里映象）

③ 遇到的問題 很奇怪的是，自己以前在輸入mysql -u root -p，嘗試連線mysql時，並沒有出現任何問題。這次卻出現了以下錯誤：

ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock’ (2)

按照百度的各種方法，都不適合自己。後來關閉mysql之後，再重新啟動進入，問題得到解決。PS：這就是一個謎一樣的問題～

$ sudo docker stop mysqldb   # 關閉名為mysqldb的容器
$ sudo docker start mysqldb   # 開啟並執行名為mysqldb的容器
$ sudo docker exec -it mysqldb /bin/bash
$ mysql -u root -p  # 連線mysql，開啟mysql的shell互動模式

2. 為hive配置mysql

① 新增並設定hive使用者、資料庫 使用以下命令新增並設定hive使用者、資料庫：

mysql> create user hive identified by 'hive';    # 建立一個使用者名稱為hive，密碼為hive的資料庫
mysql> create database hive;  # 建立一個叫做hive的資料庫
mysql> grant all privileges on hive.* to 'hive'@'%';    # 給hive使用者授權
mysql> flush privileges;     # 刷盤生效

② 退出mysql並重啟mysql 使用以下命令退出mysql並重新啟動mysql：

$ exit   # 退出mysql的shell互動模式
$ exit   # 退出名為mysqldb的容器
$ sudo docker stop mysqldb   # 關閉名為mysqldb的容器
$ sudo docker start mysqldb   # 開啟並執行名為mysqldb的容器
$ sudo docker exec -it mysqldb /bin/bash
$ mysql -u root -p  # 連線mysql，開啟mysql的shell互動模式

③ 檢視剛新增的hive使用者授權 使用以下命令檢視剛新增的hive使用者授權，已驗證是否新增成功：

mysql> select user,host from mysql.user;

在這裡插入圖片描述

④ 設定hive資料庫為utf-8編碼 使用以下命令設定hive資料庫為utf-8編碼，避免後續的亂碼問題：

mysql> alter database hive character set utf8;

3. 下載並解壓縮hive

① 下載hive 下載地址：Hive映象下載 本人選擇的是hive-2.3.3 版本，下載的是該目錄下的apache-hive-2.3.3-bin.tar.gz。

② 解壓縮apache-hive-2.3.3-bin.tar.gz 使用以下命令解壓縮apache-hive-2.3.3-bin.tar.gz，設定檔案許可權為0777，並將其放到合適的目錄：

$ sudo tar -zxvf apache-hive-2.3.3-bin.tar.gz
$ sudo chmod -R 0777 apache-hive-2.3.3-bin
$ sudo cp -rf apache-hive-2.3.3-bin /home/cephlee/

本人在這之後，還修改了檔名為：hive-2.3.3

4. 配置hive

① 新增hive系統環境變數 使用gedit命令向~/.bashrc中新增hive系統環境變數：

$ sudo gedit ~/.bashrc

新增以下內容：

export HIVE_HOME=/home/cephlee/hive-2.3.3
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=${HIVE_HOME}/bin:$PATH

使用source 命令使其生效：

$ source ~/.bashrc

使用以下命令，檢視hive系統環境變數配置是否生效：

$ hive --version

在這裡插入圖片描述 ② 在hadoop新增hive的相關檔案目錄 使用以下命令在hadoop新增hive的相關檔案目錄，並設定相應許可權：

$ hadoop fs -mkdir /user/hive/warehouse
$ hadoop fs -mkdir /user/hive/tmp
$ hadoop fs -mkdir /user/hive/log
$ hadoop fs -chmod -R 0777 /user/hive

③ 修改hive-env.sh檔案 進入hive-2.3.3/conf目錄，執行以下命令：

$ cp hive-env.sh.template hive-env.sh

開啟hive-env.sh檔案，向其中新增以下內容：

# Hive Configuration Directory can be controlled by:
export JAVA_HOME=/usr/local/jdk18
export HADOOP_HOME=$HADOOP_HOME
export HIVE_HOME=/home/cephlee/hive-2.3.3
export HIVE_CONF_DIR=${HIVE_HOME}/conf 

# Folder containing extra libraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=${HIVE_HOME}/lib

④ 修改hive-site.xml檔案 進入hive-2.3.3/conf目錄，執行以下命令：

$ cp hive-default.xml.template hive-site.xml

開啟hive-site.xml檔案，除了頭部的xml資訊，其他內容都清空。新增相關配置後，整個檔案內容為：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--
   Licensed to the Apache Software Foundation (ASF) under one or more
   contributor license agreements.  See the NOTICE file distributed with
   this work for additional information regarding copyright ownership.
   The ASF licenses this file to You under the Apache License, Version 2.0
   (the "License"); you may not use this file except in compliance with
   the License.  You may obtain a copy of the License at

       http://www.apache.org/licenses/LICENSE-2.0

   Unless required by applicable law or agreed to in writing, software
   distributed under the License is distributed on an "AS IS" BASIS,
   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   See the License for the specific language governing permissions and
   limitations under the License.
-->
<configuration>
	<!-- 設定 hive倉庫的HDFS上的位置 -->
	<property>
	    <name>hive.exec.scratchdir</name>
	    <value>/user/hive/tmp</value>
	</property>
	<!--資源臨時檔案存放位置 -->
	<property>
	    <name>hive.metastore.warehouse.dir</name>
	    <value>/user/hive/warehouse</value>
	</property>
	<!-- 設定日誌位置 -->
	<property>
	    <name>hive.querylog.location</name>
	    <value>/user/hive/log</value>
	</property>
	<property>
	    <name>javax.jdo.option.ConnectionURL</name>
	    <value>jdbc:mysql://192.168.202.34:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false&amp;allowPublicKeyRetrieval=true</value>
	</property>
	<property>
	    <name>javax.jdo.option.ConnectionDriverName</name>
	    <value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
	    <name>javax.jdo.option.ConnectionUserName</name>
	    <value>hive</value>
	</property>
	<property>
	    <name>javax.jdo.option.ConnectionPassword</name>
	    <value>hive</value>
	</property> 
</configuration>

⑤ 下載JDBC複製到對應目錄 前往官網下載JDBC驅動，官方網址Download Connector/J 。 在該頁面中，點選下圖中的Looking for previous GA versions?，下載歷史版本： 在這裡插入圖片描述 選擇Platform Independent (Architecture Independent), ZIP Archive進行下載： 在這裡插入圖片描述

解壓縮mysql-connector-java-5.1.47.zip，將mysql-connector-java-5.1.47-bin.jar複製到hive-2.3.3/lib目錄。

5. 初始化並啟動hive

① 初始化hive 從 Hive 2.1 版本開始, 我們需要先執行 schematool 命令來執行初始化操作。

$ schematool -dbType mysql -initSchema

本人第一次初始化失敗，遇到以下錯誤： 在這裡插入圖片描述 網上百度以後，參考部落格：關於JDBC連線資料庫時出現的Public Key Retrieval is not allowed錯誤 使用方法二：連線資料庫的url中，加上allowPublicKeyRetrieval=true引數，在hive-site.xml的<name>javax.jdo.option.ConnectionURL</name>中的value中，新增allowPublicKeyRetrieval=true， 使得該問題得意解決。 PS：上面的hive-site.xml的配置是修改以後的最新配置，讀者無需再修改hive-site.xml。

再次執行命令，初始化成功： 在這裡插入圖片描述 ② 檢視初始化資訊 執行以下命令，檢視hive初始化資訊：

$ schematool -dbType mysql -initInfo

在這裡插入圖片描述

也可以進入mysql，檢視hive中的表格資訊：

mysql> use hive;
mysql> show tables;

資訊如下（只有首尾的部分資訊）： 在這裡插入圖片描述 在這裡插入圖片描述

③ 啟動hive 直接輸入hive命令，啟動hive：

$ hive

啟動資訊如下： 在這裡插入圖片描述ruxia

6. 簡單的使用hive

在hive中建立一個表格，已驗證hive執行是否正常：

hive> create table testHive(
         id int,
        name string
        );

建立成功後，再檢視剛剛建立的表格：

hive> show tables;

顯示資訊如下： 在這裡插入圖片描述

7. slaves節點的配置

之前的步驟1-6均在hadoop的master節點上配置，現在需要配置slaves節點。 ① 使用scp命令，拷貝hive至salves節點

$ scp -r hive-2.3.3 monserver:/home/cephlee
$ scp -r hive-2.3.3 osdserver1:/home/cephlee
$ scp -r hive-2.3.3 osdserver2:/home/cephlee
$ scp -r hive-2.3.3 osdserver3:/home/cephlee

② 新增hive系統環境變數 參考以前的步驟，在slaves節點上的~/.bashrc檔案中新增系統環境變數，並使用source命令使其生效。 ③ 在slaves節點的中hive-site.xml 新增以下配置：

<property>  
    <name>hive.metastore.uris</name>  
    <value>thrift://192.168.202.34:9083</value>  
</property>

④ 啟動啟動metastore服務 在使用slaves節點訪問 hive 之前，在master節點中，執行 hive --service metastore & 來啟動metastore服務 。 在這裡插入圖片描述 metastore服務對應的程序為6906 RunJar： 在這裡插入圖片描述 ⑤ slaves節點啟動hive並執行簡單的hive命令

$ hive
hive>show tables;

發現在master節點上建立的表，可以在slaves節點中看到： 在這裡插入圖片描述

至此，基於Hadoop分散式叢集的hive2.3安裝成功！！！

相關推薦

基於Hadoop分散式叢集部署Hive2.3

1. 基於docker安裝mysql 由於自己以前在Ubuntu kylin 16.04的系統上安裝mysql5.7一直有問題，後來學會了使用docker安裝mysql。覺得這個方法很方便，所以這次繼續使用docker安裝mysql。 ① 安裝docker 參考

centos7.3中搭建hadoop分散式叢集環境詳細過程

一、準備工作 1、準備3臺物理機或者虛擬機器； 2、安裝centos7系統； 3、準備好相關軟體包並拷貝相關軟體到目標伺服器上 hadoop-2.9.0.tar.gz jdk-8u131-linux-x64.tar.gz 二、配置網路 1、設定靜態網路ip 1）設定靜

Hadoop分散式叢集搭建方法（Version： java 1.8+CentOS 6.3）

夏天小廚 前言 大資料這個概念，說的通俗點就是對海量資料的處理分析。據不完全統計，世界百分之九十的資料都由近幾年產生，且不說海量資料的ETL，單從資料的儲存和資料展現的實時性，傳統的單機就已經無法滿足實際場景的需要例如很多OLAP系統。由此引出了Hadoop，Hadoop

hadoop完全分散式叢集部署

實驗環境: 172.25.66.1 namenode節點（上一篇部落格已部署成功） 172.25.66.2 datanode 節點 172.25.66.3 datanode節點 server1： 1.停掉之前的hdfs和yarn叢集 2.安裝nfs服務，進行檔案共享

部署Hadoop環境（四）HBase分散式叢集部署與設計

HBase是一個高可靠、高效能、面向列、可伸縮的分散式儲存系統，利用Hbase技術可在廉價PC Server上搭建 大規模結構化儲存叢集。 HBase 是Google Bigtable 的開源實現，與Google Bigtable 利用GFS作為其檔案儲存系統類似， HBase 利用Hado

Hadoop 分散式叢集搭建

1 修改配置檔案 1.1 hadoop-env.sh export JAVA_HOME=/usr/apps/jdk1.8.0_181-amd64 1.2 core-site.xml <property> <name>fs.def

Spark學習筆記(三) Ubuntu搭建Hadoop分散式叢集

Ubuntu搭建Hadoop分散式叢集 執行環境 配置目標 搭建Hadoop分散式叢集步驟 1 搭建master 1.1 安裝JDK 1.2 安裝SSH 1.3 安裝Hadoop 2

vmware centos hadoop分散式叢集搭建 粗略筆記

初始設定： 虛擬了三個CentOs系統（安裝CentOs的步驟省略），一臺master 兩臺slave，使用者名稱全部為hadoop，具體如下（除了第一步使用root使用者操作，其他均使用hadoop使用者）： 1.新增hadoop使用者 第一步：grou

Centos 7下Hadoop分散式叢集搭建

    一、關閉防火牆（直接用root使用者） #關閉防火牆 sudo systemctl stop firewalld.service #關閉開機啟動 sudo systemctl disable firewalld.service 二、修改每臺主機

Ubuntu Docker 搭建Hadoop分散式叢集

確保您擁有 root 許可權 , 凡是{} 包含的內容， 都是您需要更改的 apt install docker docker pull ubuntu:16.04 docker r

Hadoop學習筆記(三) 安裝Hadoop分散式叢集

執行環境 因為是為了學習,且只有一臺PC,只能在虛擬機器裡安裝Hadoop 軟體配置 版本 主機 Win7,記憶體8G 虛擬機器 VMware 14 Linux ubuntu-14.04.5-desktop (使用ubuntu-18或1

hadoop3.1 分散式叢集部署

1.環境準備 Centos7.5系統 hadoop版本3.1 1.1資源分配 主機名 地址

在搭建Hadoop 分散式叢集的時候，多次格式化檔案系統，啟動hdfs,yarn，後jps 發現datanode為啟動

可以參考：https://www.cnblogs.com/dxwhut/p/5679501.html https://blog.csdn.net/baidu_15113429/article/details/53739734 https://www.cnblogs.com/lishpei/p

使用Docker在本地搭建Hadoop分散式叢集

學習Hadoop叢集環境搭建是Hadoop入門必經之路。搭建分散式叢集通常有兩個辦法： 要麼找多臺機器來部署（常常找不到機器） 或者在本地開多個虛擬機器（開銷很大，對宿主機器效能要求高，光是安裝多個虛擬機器系統就得搞半天……）。 那麼，問題來了！ 有沒有更有可行

hadoop分散式叢集環境搭建

參考 http://www.cnblogs.com/zhijianliutang/p/5736103.html   1 wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2

Redis分散式叢集部署安裝及細節（一臺主機搭建多個服務--偽叢集）

Redis分散式叢集部署安裝及細節  一: redis cluster介紹篇 1:redis cluster的現狀 目前redis支援的cluster特性(已親測): 1):節點自動發現 2):slave->master選舉,叢集容錯 3):Hotreshar

Redis分散式叢集部署安裝及細節(多主機搭建叢集開啟多個服務)

注意： redis的安裝步驟與同機器下一致，這裡只講解個別不同配置的修改 每臺主機都有固定的IP 10.25.84.105SZD-L0073672   此臺機器部署了多個服務 10.25.84.106SZD-L0073671   10.25.84.69  SZD-L007

搭建Hadoop分散式叢集------修改三臺機器的配置檔案

該篇文章，繼續ssh免密登入之後進行講解操作！ Step_1：修改Master主機的core-site.xml檔案： 修改前： 修改後： Step_2：把修改Master主機的core-site.

Hadoop分散式叢集安裝配置步驟

之前介紹過Hadoop偽分散式模式的安裝配置步驟，現在記錄一下分散式叢集的安裝配置步驟，本文使用3臺測試伺服器，下面是各伺服器的角色：   - node1：NameNode, DataNode, NodeManager - node2：SecondaryNameNode,

安裝Spark+hadoop，spark、hadoop分散式叢集搭建...(親自搭建過！！)

首先說一下我所用的版本： spark-2.1.1-bin-hadoop2.7.tgz hadoop-2.7.3.tar.gz jdk-8u131-linux-x64.rpm 我們實驗室有4臺伺服器：每個節點硬碟：300GB，記憶體：64GB。四個