1. 程式人生 > >Hive學習筆記:Hive JDBC+Java API

Hive學習筆記:Hive JDBC+Java API

環境:CentOS7
           hive-1.1.0-cdh5.14.0
           hadoop-2.6.0-cdh5.14.0

Hive JDBC配置與實現

修改$HIVE_HOIME/conf下的hive-site.xml,新增以下內容

<property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
</property>
<property>
        <name>hive.server2.thrift.bind.host</name>
        <value>0.0.0.0</value>
</property>

設定Hiveserver2 Thrift的port和host(host設定成0.0.0.0,來接收未知來源的ip)

nohup啟動metastore和hiveserver2(當然是要先起hdfs和yarn)
nohup hive --service metastore > metastore.log 2>&1 &
nohup hive --service hiveserver2 > hiveserver2.log 2>&1 &
(可以寫在一個shell檔案裡,然後在測試環境要起hive的時候就可以偷懶了233)
jps看一下有兩個runjar那就說明沒有問題啦,或者看一下生成的日誌資訊保證沒有報錯

然後使用beeline連線hive

[[email protected] bin]# beeline
Beeline version 1.1.0-cdh5.14.0 by Apache Hive
beeline> !connect jdbc:hive2://centos:10000
scan complete in 1ms
Connecting to jdbc:hive2://centos:10000
Enter username for jdbc:hive2://centos:10000: root
Enter password for jdbc:hive2://centos:10000: ******
Connected to: Apache Hive (version 1.1.0-cdh5.14.0)
Driver: Hive JDBC (version 1.1.0-cdh5.14.0)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://centos:10000> 

Java API 操作 

新建一個Maven Project,這是用到的pom.xml,只需要將<build>到</project>間的複製到自己的project,update一下maven project就可以了

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>06HiveJDBCJava</groupId>
  <artifactId>06HiveJDBCJava</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  
  <build> 
    <pluginManagement>
    	<plugins>
    		<!--This plugin's configuration is used to store Eclipse m2e settings only. It has no influence on the Maven build itself.-->
    		<plugin>
    			<groupId>org.eclipse.m2e</groupId>
    			<artifactId>lifecycle-mapping</artifactId>
    			<version>1.0.0</version>
    			<configuration>
    				<lifecycleMappingMetadata>
    					<pluginExecutions>
    						<pluginExecution>
    							<pluginExecutionFilter>
    								<groupId>
    									org.apache.maven.plugins
    								</groupId>
    								<artifactId>
    									maven-compiler-plugin
    								</artifactId>
    								<versionRange>[3.1,)</versionRange>
    								<goals>
    									<goal>compile</goal>
    								</goals>
    							</pluginExecutionFilter>
    							<action>
    								<ignore></ignore>
    							</action>
    						</pluginExecution>
    					</pluginExecutions>
    				</lifecycleMappingMetadata>
    			</configuration>
    		</plugin>
    	</plugins>
    </pluginManagement>
  </build>
  
  <repositories>
    <repository>
      <id>cloudera</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
    <repository>
      <id>maven</id>
      <url>http://central.maven.org/maven2/</url>
    </repository>
    <repository>
    <id>alimaven</id>  
  			<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    </repository>  
     </repositories>

<dependencies>
		<dependency>  
		    <groupId>org.apache.maven.plugins</groupId>  
		    <artifactId>maven-resources-plugin</artifactId>  
		    <version>2.5</version>  
		</dependency>  
	  <dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-common</artifactId>
		<version>2.6.0-cdh5.14.0</version>
		</dependency>
		<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-hdfs</artifactId>
		<version>2.6.0-cdh5.14.0</version>
		</dependency>
		<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-maven-plugins</artifactId>
		<version>2.6.0-cdh5.14.0</version>
		</dependency>
		 <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.0-cdh5.14.0</version>
        </dependency>
		 <dependency>
		    <groupId>org.apache.hadoop</groupId>
		    <artifactId>hadoop-yarn-server-resourcemanager</artifactId>
		    <version>2.6.0-cdh5.14.0</version>
		 </dependency>
		
		 <dependency>
		    <groupId>org.apache.hadoop</groupId>
		    <artifactId>hadoop-yarn-server-nodemanager</artifactId>
		    <version>2.6.0-cdh5.14.0</version>
		 </dependency>
		        
		 <dependency>
		    		<groupId>org.apache.hadoop</groupId>
		    		<artifactId>hadoop-yarn-common</artifactId>
		   		<version>2.6.0-cdh5.14.0</version>
		 </dependency>
		 <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-app</artifactId>
    <version>2.6.0-cdh5.14.0</version>
		</dependency>
		 <dependency>
		    <groupId>org.apache.hadoop</groupId>
		    <artifactId>hadoop-mapreduce-client-common</artifactId>
		    <version>2.6.0-cdh5.14.0</version>
		</dependency>
		<dependency>
		    <groupId>org.apache.hadoop</groupId>
		    <artifactId>hadoop-mapreduce-client-core</artifactId>
		    <version>2.6.0-cdh5.14.0</version>
		</dependency>
		 <dependency>
		    <groupId>org.apache.hadoop</groupId>
		    <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
		    <version>2.6.0-cdh5.14.0</version>
		</dependency>
		<dependency>
		     <groupId>org.apache.hadoop</groupId>
		     <artifactId>hadoop-yarn-api</artifactId>
		    <version>2.6.0-cdh5.14.0</version>
		 </dependency>
		<dependency>
		    <groupId>org.apache.hadoop</groupId>
		    <artifactId>hadoop-yarn-client</artifactId>
		    <version>2.6.0-cdh5.14.0</version>
		</dependency>
	<dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>1.1.0-cdh5.14.0</version>
     </dependency>
      <dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-common</artifactId>
    <version>1.1.0-cdh5.14.0</version>
</dependency>
 <dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>1.1.0-cdh5.14.0</version>
</dependency>

<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-metastore -->
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-metastore</artifactId>
    <version>1.1.0-cdh5.14.0</version>
</dependency>

<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>1.1.0-cdh5.14.0</version>
</dependency>
	  <dependency>
			<groupId>org.apache.mrunit</groupId>
			<artifactId>mrunit</artifactId>
			<version>1.1.0</version>
			<classifier>hadoop2</classifier>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.mockito</groupId>
			<artifactId>mockito-all</artifactId>
			<version>1.9.5</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.10</version>
			<scope>test</scope>
		</dependency>
		<dependency>  
            <groupId>jdk.tools</groupId>  
            <artifactId>jdk.tools</artifactId>  
            <version>1.8</version>  
            <scope>system</scope>  
            <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>  
        </dependency>  
 </dependencies>
</project>

具體實現

package com.jdbc.test;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

public class HiveJDBCTest 
{
	//驅動,URL,使用者名稱,密碼,資料庫
	public static final String HIVE_DRIVER="org.apache.hive.jdbc.HiveDriver";
	public static final String HIVE_URL="jdbc:hive2://centos:10000";
	public static final String USER_NAME="root";
	public static final String PASSWORD="123456";
	
	public static void main(String[] args) throws SQLException 
	{
		Connection conn=null;
		PreparedStatement pstmt=null,pstmt1=null;
		ResultSet rs=null;
		
		try {
			//載入驅動,建立連線
			Class.forName(HIVE_DRIVER);
			conn = DriverManager.getConnection(HIVE_URL, USER_NAME, PASSWORD);
			
			//使用PreparedStatement,這裡注意,查詢的時候使用的是executeQuery,而且會有結果集返回其他的載入資料,創表創庫等操作用的是execute方法
			pstmt1=conn.prepareStatement("load data local inpath"+"/student.txt"+"overwrite into table student");
			pstmt1.execute();
			
			pstmt = conn.prepareStatement("select * from student");
			rs=pstmt.executeQuery();
			
			//遍歷輸出每一行查詢結果,注意get方法對應的欄位的型別
			while(rs.next()!=false)
			{
				System.out.println(rs.getInt(1)+" "+rs.getString(2)+" "+rs.getString(3)+" "+rs.getInt(4));
			}
			
		} catch (ClassNotFoundException e) {
			e.printStackTrace();
		} catch (SQLException e) {
			e.printStackTrace();
		}

		//釋放資源
		rs.close();
		pstmt.close();
		pstmt1.close();
		conn.close();
		
	}
}

相關推薦

Hive學習筆記Hive JDBC+Java API

環境:CentOS7            hive-1.1.0-cdh5.14.0            hadoop-2.6.0-cdh5.14.0 Hive JDBC配置與實現 修改$HIVE_HOIME/conf下的hive-site.xml,新增以下內容 &l

筆記MyBatis 使用 Java API配置

resultset type alias 然而 exe enabled 取數 actor comm 我們已經討論了各種MyBatis配置元素,如envronments、typeAlias和typeHandlers,以及如何使用XML配置它們。即使你想使用基於JavaAPI的

Java學習筆記前言(Java入門及推薦一本Java教材)

Java入門及推薦一本Java教材         開始學習Java了,學習了一陣子,但只是看書、除錯程式,沒有留下什麼記錄。恰好我也有朋友要學Java。索性我就把Java學習過程中,技術方面的經歷寫出來。方便朋友和大家參考。這些文章不會是固定的。即使以前的文章,如果發現有

Hadoop學習筆記一(通過Java API 操作HDFS,檔案上傳、下載)

package demo.hdfs; import java.util.Arrays; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; impor

學習筆記深入理解Java虛擬機 第二章:Java內存區域與內存溢出異常(1)

block 物理 裝載 成熟 memory from ram 權力 一個 學習筆記:深入理解Java虛擬機 第二章:Java內存區域與內存溢出異常(1) Java與C++之間有一堵由內存動態分配和垃圾收集技術所圍成的"高墻",墻外面的人想進去,墻裏面的

學習筆記深入理解Java虛擬機 第二章:Java內存區域與內存溢出異常(2)

保留 頻繁 深入 一是 init方法 對象的引用 整理 緩沖 出現 學習筆記:深入理解Java虛擬機 第二章:Java內存區域與內存溢出異常(2) 三、HotSpot虛擬機對象探秘 1.對象的創建 ? 在Java程序運行過程中時刻都有對象被創建。在語言層面上,創建對象(例如

ElasticSearch 6.x 學習筆記31.Java API之詞項查詢

1、term查詢 Find documents which contain the exact term specified in the field specified. package cn.hadron; import cn.hadron.

hive學習筆記之一基本資料型別

### 歡迎訪問我的GitHub [https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos) 內容:所有原創文章分類彙總及配套原始碼,涉及Java、Docker、Kubernetes、DevOPS等; ###

Hive學習筆記,你想知道的Hive

one 什麽 pac 語句 工具 center 版本 推薦 serve 1、 什麽是Hive(蜂巢)?   Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,並提供類SQL查詢功能。Hive是基於HDFS之上的數據倉庫,也就是說Hive

hive學習筆記-持續更新

hive --適用於ETL方面的工作 首先我們要知道hive到底是做什麼的。下面這幾段文字很好的描述了hive的特性:   1.hive是基於Hadoop的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供完整的sql查詢功能,可以將sql語句轉換為MapRedu

java技術學習筆記Maven安裝和作用

Maven是一個基於專案物件模型(POM)的概念的純java開發的開源的專案管理工具。主要用來管理java專案,進行依賴管理(jar包管理,能自動分析專案所需的依賴軟體包,併到Maven倉庫區下載)和專案構建(專案打包和部署)。此外還能分塊開發,提高開發效率。 本文將從以下三個方面寫起: 1

java學習筆記面向物件

成員變數與區域性變數的區別: /* 成員變數和區域性變數的區別: 1:在類中的位置不同 成員變數:在類中方法外 區域性變數:在方法定義中,或者方法宣告上 2:在記憶體中的位置不同 成員變數:在堆記憶體 區域性變數:在棧記憶體 3:生命週期不同 成員變數

java學習筆記二維陣列與面向物件

目標: 二維陣列 面向物件程式設計 一、二維陣列 二維陣列就是一個元素為一維陣列的陣列。 格式1: 資料型別[][] 變數名 = new 資料型別[m][n]; m表示這個二維陣列有多少個一維陣列 n表示每一個數組的元素的元素個數 /*

java學習筆記方法與陣列

方法: 方法的定義與使用: java中方法就是函式,將實現某些功能的程式碼封裝到方法中。 /* 概念:就是完成某個功能的程式碼,函式就是方法 格式: 修飾符 返回值型別 方法名(引數型別 引數名1,引數型別 引數名2....){ 方法體語句: return 返回值:

Java學習筆記C/S 與B/S 區別!

C/S 是Client/Server 的縮寫,是客戶機與伺服器結構的應用程式;B/S是Brower/Server 的縮寫,是瀏覽器和伺服器結構的應用程式,即Web 應用程式。C/S 與B/S 區別如下: 1)硬體環境不同: C/S 一般建立在專用的網路上, 小範圍裡的網路環境, 區域網

Java技術學習筆記過濾器鏈的實現方法、配置和案例分析

今天給大家分享的是Java技術學習筆記:過濾器鏈的實現方法、配置和案例分析。 過濾器能夠對網站中的各種內容進行過濾(頁面、Servlet、圖片、檔案),可以在網站內容請求和響應時進行一些操作,完成一些通用的功能。 過濾器鏈 在專案中可以建立多個過濾器,網站內容可能會經過多個過濾器,多個過濾器就形成了過濾

Java技術學習筆記RMI與RPC的區別

一:RPC 遠端過程呼叫RPC(Remote Procedure Call Protocol)遠端過程呼叫協議,通過網路從遠端計算機上請求呼叫某種服務。一次RPC呼叫的過程大概有10步:  1.執行客戶端呼叫語句,傳送引數  2.呼叫本地系統傳送網路訊息  3.訊息傳送到遠端主機  4.伺服器得到訊息並取得引

Java學習筆記原型模式總結

type tex 實現類 null ges 復制 n) getattr ado 原型模式(Prototype Pattern)是首先創建一個原型對象,再通過復制這個原型對象來創建更多同類型的對象。這種類型的設計模式屬於創建型模式,它提供了一種創建對象的最佳方式。 這種模式是

大資料技術學習筆記hive框架基礎3-sqoop工具的使用及具體業務分析

一、CDH版本的介紹及環境部署     -》Hadoop的三大發行版本         -》Apache Hadoop         -》

大資料技術學習筆記hive框架基礎2-hive中常用DML和UDF和連線介面使用

一、分割槽表的介紹及使用     -》需求:統計每一天的PV,UV,每一天分析前一天的資料         -》第一種情況:每天的日誌儲存在同一個目錄中     &nbs