1. 程式人生 > >hive2.0單機、偽分佈搭建

hive2.0單機、偽分佈搭建

1. 所需要的環境

Hive 2.0需要以下執行環境: 
Java 1.7以上(強烈建議使用Java 1.8) 
Hadoop 2.X

2. 下載、解壓Hive安裝包

wget "http://mirrors.cnnic.cn/apache/hive/hive-2.0.0/apache-hive-2.0.0-bin.tar.gz"
tar -xzvf apache-hive-2.0.0-bin.tar.gz
mv apache-hive-2.0.0-bin /opt/hive-2.0.0

3. 配置環境變數(可選)

將hive-2.0.0/bin新增到path,以方便訪問

vi /etc/profile

在末尾新增:

HIVE_HOME=/opt/hive-2.0.0
PATH=$PATH:$HIVE_HOME/bin

4. 啟動單機模式

4.1 修改配置檔案

1.hive-env.sh cp hive-env.sh.template hive-env.sh 在hive-env.sh中新增: # Set HADOOP_HOME to point to a specific hadoop install directory export HADOOP_HOME=/opt/hadoop/hadoop-2.7.2 # Hive Configuration Directory can be controlled by export HIVE_CONF_DIR=/opt/hive/hive-2.1.0/conf
2.hive-site
.xml
cd /opt/hive-2.0.0/conf
vi hive-site.xml //也可以用hive-default.xml.template去改,不過這個檔案中的配置項太多了

輸入以下內容後儲存:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/opt/hive-2.0.0/warehouse</value>
    <description>location of default database for the warehouse</description>
</property>
<property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:derby:/opt/hive-2.0.0/metastore_db;create=true</value>
   <description>JDBC connect string for a JDBC metastore</description>
</property>
</configuration>

注意:使用derby儲存方式時,執行hive會在當前目錄生成一個derby檔案和一個metastore_db目錄。這種儲存方式的弊端是在同一個目錄下同時只能有一個hive客戶端能使用資料庫,如果換一個地址啟動hive則不能共享元資料。

如果使用sparksql操作hive表,也要注意在啟動hive的當前目錄啟動。

4.2 初始化資料庫

schematool -initSchema -dbType derby


出現以下幾行說明初始化成功:

Starting metastore schema initialization to 2.0.0
Initialization script hive-schema-2.0.0.derby.sql
Initialization script completed
schemaTool completed

4.3 啟動程式

mkdir -p /opt/hive-2.0.0/warehouse       // 建立元資料儲存資料夾
chmod a+rwx /opt/hive-2.0.0/warehouse    // 修改檔案許可權
hive


如果出現hive>提示符則說明啟動成功

5. 常見錯誤

5.1 執行hive時出現

Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql)

錯誤原因: 
資料庫沒有初始化,請參照4.2

5.2 使用schematool初始化資料庫時出現

Initialization script hive-schema-2.0.0.derby.sql
Error: FUNCTION 'NUCLEUS_ASCII' already exists. (state=X0Y68,code=30000)
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!
*** schemaTool failed ***

錯誤原因:資料庫資料夾中已經存在一些檔案,解決方法就是清空資料庫資料夾(也就是前面配置的/opt/hive-2.0.0/metastore_db資料夾

5.3 hive查詢異常:Cannot create directory /tmp/hive-root/。。。Name node is in safe mode.

解決辦法:關閉安全模式

hadoop dfsadmin -safemode leave 

5.4hive配置遇到的問題( Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D)

解決方案如下:
1.
檢視hive-site.xml配置,會看到配置值含有"system:java.io.tmpdir"的配置項
2.
新建資料夾/home/grid/hive-0.14.0-bin/iotmp
3.將含有"system:java.io.tmpdir"的配置項的值修改為如上地址
啟動hive,成功!


相關推薦

hive2.0單機分佈搭建

1. 所需要的環境 Hive 2.0需要以下執行環境:  Java 1.7以上(強烈建議使用Java 1.8)  Hadoop 2.X 2. 下載、解壓Hive安裝包 wget "http://mirrors.cnnic.cn/apache/hive/hive-2

Hadoop不完全分佈單機分佈)模式搭建

一,配置一臺普通的虛擬機器 二、解壓安裝Hadoop 三、配置Java與Hadoop的環境變數 鍵入命令: vim /etc/profile 按i進入插入狀態 ,開始使用vim編輯器編輯: 在末尾插入下列這段程式碼: export JAVA_HOME='

Hadoop2.7.3搭建單機分佈環境

1.下載jdk並安裝去官網下就可以了,下完之後把檔案移到/opt/Java下[email protected]:~/下載$ mv ./hadoop-2.7.2-src.tar.gz /opt/

個人hadoop學習總結:Hadoop叢集+HBase叢集+Zookeeper叢集+chukwa監控(包括單機分佈完全分佈安裝操作)

環境介紹: 虛擬機器四個: hadoop-marster hadoop-salve1 hadoop-salve2 hadoop-salve3 ===========================1.Hadoop==============================

hbase 單機分佈完全分佈部署

hbase1.1.2安裝文件(配套hadoop2.6.1) 下載後解壓到自己所需的目錄:我的目錄是/home/lin/hadoop/hbase-1.1.2 1、單機模式: (1)、修改conf/hbase-env.sh  新增java環境變數: exp

Hadoop單機分佈環境搭建

Hadoop環境搭建與運維 Hadoop概述: Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。 使用者可以在不瞭解分散式底層細節的情況下,開發分散式程式。充分利用叢集的威力進行高速運算和儲存。  Hadoop實現了一個分散式檔案系統(Hadoop Distrib

Hbase本地模式分佈模式分佈模式HA的搭建

一、搭建HBase本地模式   解壓:                                  &nb

Hadoop 3.1.0 單機分散式的搭建

hadoop3.1.0單機搭建 1.1 軟體準備說明 所需軟體如下圖所示: 大資料插架都在於此:http://archive.apache.org/dist Hadoop3.1.0的地址:http://archive.apache.org/dist/hadoo

Hadoop單機分散式叢集搭建(十分詳細)

原文地址:http://blog.csdn.net/dr_guo/article/details/50886667 下面我就一邊搭建一邊寫怎麼搭建Hadoop偽分佈模式。 1.下載jdk並安裝 去官網下就可以了,下完之後把檔案移到/o

Ubuntu + Hadoop2.7.3分佈搭建

1.在virtualbox上設定共享目錄 將 JDK 和 hadoop 壓縮包上傳到Ubuntu: 參考連結:https://blog.csdn.net/qq_38038143/article/details/83017877 2.JDK安裝 在 /usr/loca

配置Hadoop 單機分佈, 完全分佈

在這裡我推薦一本書給大家,在這本書中關於hadoop的各種配置,解釋的都很詳細,話不多說,看連結: 連結:大資料spark企業級實戰 提取碼:tqpk  書中第二章,詳細的講解了Hadoop和spark的配置 雖然有點老但是還是很有效的;另外推薦一個博主的配置方法:

(一)大資料-Hadoop2.7.3分佈搭建

關閉防火牆 關閉當前登陸防火牆 檢視防火牆狀態 service iptables status 關閉防火牆 service iptables stop 關閉系統防火牆(即系統啟動時,不開啟防火牆) 檢視系統啟動 chkconfig --list 關閉系統啟動防火牆 chkconfig iptables o

獨立模式分佈模式hbase和hadoop HA(高可用)完全分散式模式。整合配置

一、獨立模式: 1.下載hbase檔案 略 2.tar開 略 3.配置環境變數 略 4.修改配置檔案 在hbase安裝目錄下: //配置jdk路徑 [/conf/hbase-env.sh] export JAVA_HOME=/zdq/jdk //配置hbas

hbase三種安裝模式,本地安裝分佈安裝叢集模式安裝

<property>         <name>hbase.rootdir</name>         <value>hdfs://namenode.example.org:8020/hbase</value> <

分佈環境下安裝hbase

環境說明:     2、Ubuntu14.04 安裝配置:     1、解壓hbase到指定的目錄(我的是在/usr/local/hadoop/)            tar -axvf hba

分佈下安裝hive1.2

宣告:本篇blog並沒有配置MySQL,元資料庫為derby一、環境Ubuntu14.04hadoop2.6偽分佈(安裝教程請參考:點選開啟連結)hive-1.2.1(下載連結:點選開啟連結)二、安裝1、將其下載的安裝包解壓到相應的目錄,在此小編的是/usr/local/ha

Hadoop3.0: 單機叢集)配置

目的 本文主要講解的是在單節點下的Hadoop的環境安裝和配置,以幫助您可以快速的使用Hadoop的MapReduce和HDFS前提條件 環境支援 GNU/Linux現已支援開發和生產環境. Hadoop可以在 GNU/Linux叢集上支援2000節點。 Windows現

Apache hadoop叢集安裝的三種方式:本地分佈完全分佈

四 Hadoop執行模式1)官方網址(1)官方網站:(2)各個版本歸檔庫地址 (3)hadoop2.7.2版本詳情介紹2)Hadoop執行模式(1)本地模式(預設模式):不需要啟用單獨程序,直接可以執行,測試和開發時使用。(2)偽分散式模式:等同於完全分散式,只有一個節點。(

大資料(Hadoop2.7.3分佈搭建)

安裝準備: vmware10 Centos6.5 64位版本 JDK1.8linux32位版 Hadoop2.7.3版

Hadoop-2.5.0-cdh5.3.2 搭建單機分佈

搭建環境介紹 系統為 Centos6.5 (影響不大) JDK 為open-jdk-1.7.0_45 在 hadoop 使用者許可權下完成 IP 地址為 10.6.2.102 hadoop 軟體壓縮包位於 /home/hadoop/softwares had