1. 程式人生 > >hadoop 配置hive 詳細流程

hadoop 配置hive 詳細流程

解壓hive壓縮包


將hive目錄下conf資料夾下 hive-env.sh.template 拷貝成 hive-env.sh,並增加四行內容

在hive-env.sh增加四行內容

exportHADOOP_HOME=/opt/modules/hadoop-2.5.0-cdh5.3.6

exportHIVE_CONF_DIR=/opt/modules/hive-0.13.1-cdh5.3.6/conf

export JAVA_HOME=/opt/modules/jdk1.7.0_79

exportHIVE_HOME=/opt/modules/hive-0.13.1-cdh5.3.6

將conf資料夾下hive-default.xml.template 拷貝成 hive-site.xml

將hive-site.xml 配置內容全部刪除,並增加以下內容


<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>		
		<value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
	</property>
        <property>
	  <name>hive.cli.print.header</name>
	  <value>true</value>
	</property>
	<property>
	  <name>hive.cli.print.current.db</name>
	  <value>true</value>
	</property>
</configuration>

將conf資料夾下hive-log4j.properties.template 改名為 hive-log4j.properties


修改hive-log4j.properties 中hive.log.dir路徑

在hive 目錄下建立 logs資料夾


解壓mysql驅動器

將驅動器jar包拷貝至hive目錄下lib資料夾下

在hdfs上建立/user/hive/warehouse

修改/tmp和/user/hive/warehouse 給使用者組增加執行許可權

為了方便hive執行,可以增加hive環境變數 root使用者下修改/etc/profile


啟動hive

建立一個表,並查詢測試,配置成功!


相關推薦

hadoop 配置hive 詳細流程

解壓hive壓縮包將hive目錄下conf資料夾下 hive-env.sh.template 拷貝成 hive-env.sh,並增加四行內容在hive-env.sh增加四行內容exportHADOOP_HOME=/opt/modules/hadoop-2.5.0-cdh5.3

HadoopHive 安裝與配置

file 接下來 重新 軟件 driver name arc /etc ted Hive 作為基於Hadoop的一個數據倉庫工具,可將sql語句轉換為MapReduce任務進行運行。 通過類SQL語句快速實現簡單的MapReduce統計,不用開發專門的MapReduce應用

VMWare虛擬機-Linux集群搭建詳細流程-2.登錄-分配動態ip-配置Xshell5.exe

ase 分享圖片 height eight sel idt class vertica img 如圖: VMWare虛擬機-Linux集群搭建詳細流程-2.登錄-分配動態ip-配置Xshell5.exe

cdh版本的hue安裝配置部署以及集成hadoop hbase hive mysql等權威指南

service sources ces 兩個 配置 語句 基金會 pan 創建 hue下載地址:https://github.com/cloudera/hue hue學習文檔地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7

HadoopHive的安裝與配置

Hive目前底層還是用MapReduce,以後可能會用Spark,Tez。Hive差不多是一個查詢介面,你的SQL語句還是會翻譯成MapReduce任務的,你用explain就可以看到這些任務的執行計劃。下面介紹下hive的基礎安裝過程以及簡單的使用。 環境資訊: 虛擬機器數量:

Hadoop叢集配置安裝,詳細步驟及講解

**涉及linux命令一定要注意大小寫和空格,linux系統對此敏感** **hadoop叢集的安裝一定要靜下心一步一步來** 1、關閉防火牆(防火牆最好關閉,不然以後linux操作會有很多麻煩) 1)輸入命令: vi etc/selinux/config 其中改為 SELINU

hadoop-1 hive配置文件

** 安裝JDK  $ su -                  # tom在/opt內無建立目錄的許可權 # mkdir /opt/modules    # 用於

詳細Hadoop+Hbase+Hive完全分散式環境搭建教程(二)

繼續上次的教程,這次安裝hbase與hive 一、hbase2.1.1安裝 在master節點: $ tar -zxvf hbase-2.1.1-bin.tar.gz -C /opt $ cd /opt/hbase-2.1.1/conf/ $ vi hbase-

java+scala+zookpeeper+flume+kafka+maven+hadoop+hbase+hive+spark安裝流程

系統版本使用的是centos7.0 開始安裝之前需要先配置下hosts vi /etc/hosts自己的IP hadoop000 關閉防火牆 systemctl stop firewalld.service java使用的是1.8 java下載地址 http://www.

Linux下基於Hadoop的大資料環境搭建步驟詳解(HadoopHive,Zookeeper,Kafka,Flume,Hbase,Spark等安裝與配置

Linux下基於Hadoop的大資料環境搭建步驟詳解(Hadoop,Hive,Zookeeper,Kafka,Flume,Hbase,Spark等安裝與配置) 系統說明 搭建步驟詳述 一、節點基礎配置 二、H

hadoop原始碼包編譯驗證 snappy 詳細流程

下載安裝依賴包yum -y install lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool openssl-devel fuse-devel cmake使用root使用者安裝protobuf ,進入p

歷史上最詳細的SpringBoot多資料來源配置及使用流程

關於標題—>只是想看看標題黨的效果如何 一、場景(簡化) 要實現一個使用者資料中心的系統架構,其中要用到兩個資料庫,一個database名為sso,主要存放使用者的資訊。另一個database名為configuration,存放一些配置資訊。當

struts2的基本配置詳細流程解說

                    又到了微博時刻了。從一號到十五號的任務計劃算是告一段落了,完成的質量雖然不敬人意,但也是一個小小的進步!按計劃每個階段都會用微博的方式做一個技術總結,記錄和分享自己所學到的一些東西和理解!下面的所有內容都是關於struts2框架的技術

linux下hadoophive的單機開發配置

今天嘗試在虛擬機器上配置hadoop與hive環境 linux系統為:  CentOS-6.3 64位 jdk版本:jdk-7u25-linux-x64.rpm hadoop版本: hadoop-1.0.4.tar.gz hive版本:hive-0.10.0-bin

windows10上使用Eclipse配置Hadoop開發環境詳細步驟+WordCount示例

說明:Hadoop叢集已經搭建完畢,叢集上使用的Hadoop-2.5.0。 目的:在window10系統上利用Eclipse配置Hadoop開發環境,編寫MapReduce關聯Hadoop叢集。 準備:JDK環境變數配置、Eclipse、hadoop-2.7.5.tar、h

CentOS7.0基於hadoop叢集安裝配置Hive

前言 安裝Apache Hive前提是要先安裝hadoop叢集,並且hive只需要在hadoop的namenode節點叢集裡安裝即可(需要再有的namenode上安裝),可以不在datanode節點的機器上安裝。還需要說明的是,雖然修改配置檔案並不需要把had

Hadoop完全分散式搭建流程---超詳細

1.克隆兩個節點 2.修改靜態IP 3.修改主機名:【master(主),slave1(從),slave2(從)】 4.修改IP和主機名的對映:【/etc/hosts】 5.SSH無密登入: a.修改hostname $>su root $>gedi

詳細的在linux下使用Eclipse 開發hadoop配置

在前面一篇文章中介紹瞭如果在完全分散式的環境下搭建Hadoop0.20.2,現在就再利用這個環境完成開發。       首先用hadoop這個使用者登入linux系統(hadoop使用者在前面一篇文章中建立的),然後下載eclipse的tar.gz包到/home/hadoo

hadoop分布式安裝部署具體視頻教程(網盤附配好環境的CentOS虛擬機文件/hadoop配置文件)

down hdf lan nag home 開機啟動 prop baidu ifcfg-eth 參考資源下載:http://pan.baidu.com/s/1ntwUij3視頻安裝教程:hadoop安裝.flvVirtualBox虛擬機:hadoop.part1-part

Redis.conf及其Sentinel.conf配置詳細說明

maxmemory 自動 zip slaveof level 多次 dfs 寫入 數據庫 一、redis.conf 配置項說明如下: 1. daemonize no Redis默認不是以守護進程的方式運行,可以通過該配置項修改,使用yes啟用守護進程 2. pidfil