Hive學習筆記:Hive JDBC+Java API
環境:CentOS7
hive-1.1.0-cdh5.14.0
hadoop-2.6.0-cdh5.14.0
Hive JDBC配置與實現
修改$HIVE_HOIME/conf下的hive-site.xml,新增以下內容
<property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>0.0.0.0</value> </property>
設定Hiveserver2 Thrift的port和host(host設定成0.0.0.0,來接收未知來源的ip)
nohup啟動metastore和hiveserver2(當然是要先起hdfs和yarn)
nohup hive --service metastore > metastore.log 2>&1 &
nohup hive --service hiveserver2 > hiveserver2.log 2>&1 &
(可以寫在一個shell檔案裡,然後在測試環境要起hive的時候就可以偷懶了233)
jps看一下有兩個runjar那就說明沒有問題啦,或者看一下生成的日誌資訊保證沒有報錯
然後使用beeline連線hive
[[email protected] bin]# beeline Beeline version 1.1.0-cdh5.14.0 by Apache Hive beeline> !connect jdbc:hive2://centos:10000 scan complete in 1ms Connecting to jdbc:hive2://centos:10000 Enter username for jdbc:hive2://centos:10000: root Enter password for jdbc:hive2://centos:10000: ****** Connected to: Apache Hive (version 1.1.0-cdh5.14.0) Driver: Hive JDBC (version 1.1.0-cdh5.14.0) Transaction isolation: TRANSACTION_REPEATABLE_READ 0: jdbc:hive2://centos:10000>
Java API 操作
新建一個Maven Project,這是用到的pom.xml,只需要將<build>到</project>間的複製到自己的project,update一下maven project就可以了
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>06HiveJDBCJava</groupId>
<artifactId>06HiveJDBCJava</artifactId>
<version>0.0.1-SNAPSHOT</version>
<build>
<pluginManagement>
<plugins>
<!--This plugin's configuration is used to store Eclipse m2e settings only. It has no influence on the Maven build itself.-->
<plugin>
<groupId>org.eclipse.m2e</groupId>
<artifactId>lifecycle-mapping</artifactId>
<version>1.0.0</version>
<configuration>
<lifecycleMappingMetadata>
<pluginExecutions>
<pluginExecution>
<pluginExecutionFilter>
<groupId>
org.apache.maven.plugins
</groupId>
<artifactId>
maven-compiler-plugin
</artifactId>
<versionRange>[3.1,)</versionRange>
<goals>
<goal>compile</goal>
</goals>
</pluginExecutionFilter>
<action>
<ignore></ignore>
</action>
</pluginExecution>
</pluginExecutions>
</lifecycleMappingMetadata>
</configuration>
</plugin>
</plugins>
</pluginManagement>
</build>
<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
<repository>
<id>maven</id>
<url>http://central.maven.org/maven2/</url>
</repository>
<repository>
<id>alimaven</id>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-resources-plugin</artifactId>
<version>2.5</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-maven-plugins</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-yarn-server-resourcemanager</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-yarn-server-nodemanager</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-yarn-common</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-app</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-common</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-yarn-api</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-yarn-client</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.1.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-common</artifactId>
<version>1.1.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>1.1.0-cdh5.14.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-metastore -->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-metastore</artifactId>
<version>1.1.0-cdh5.14.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.1.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.mrunit</groupId>
<artifactId>mrunit</artifactId>
<version>1.1.0</version>
<classifier>hadoop2</classifier>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.mockito</groupId>
<artifactId>mockito-all</artifactId>
<version>1.9.5</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.10</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>jdk.tools</groupId>
<artifactId>jdk.tools</artifactId>
<version>1.8</version>
<scope>system</scope>
<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
</dependency>
</dependencies>
</project>
具體實現
package com.jdbc.test;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
public class HiveJDBCTest
{
//驅動,URL,使用者名稱,密碼,資料庫
public static final String HIVE_DRIVER="org.apache.hive.jdbc.HiveDriver";
public static final String HIVE_URL="jdbc:hive2://centos:10000";
public static final String USER_NAME="root";
public static final String PASSWORD="123456";
public static void main(String[] args) throws SQLException
{
Connection conn=null;
PreparedStatement pstmt=null,pstmt1=null;
ResultSet rs=null;
try {
//載入驅動,建立連線
Class.forName(HIVE_DRIVER);
conn = DriverManager.getConnection(HIVE_URL, USER_NAME, PASSWORD);
//使用PreparedStatement,這裡注意,查詢的時候使用的是executeQuery,而且會有結果集返回其他的載入資料,創表創庫等操作用的是execute方法
pstmt1=conn.prepareStatement("load data local inpath"+"/student.txt"+"overwrite into table student");
pstmt1.execute();
pstmt = conn.prepareStatement("select * from student");
rs=pstmt.executeQuery();
//遍歷輸出每一行查詢結果,注意get方法對應的欄位的型別
while(rs.next()!=false)
{
System.out.println(rs.getInt(1)+" "+rs.getString(2)+" "+rs.getString(3)+" "+rs.getInt(4));
}
} catch (ClassNotFoundException e) {
e.printStackTrace();
} catch (SQLException e) {
e.printStackTrace();
}
//釋放資源
rs.close();
pstmt.close();
pstmt1.close();
conn.close();
}
}
相關推薦
Hive學習筆記:Hive JDBC+Java API
環境:CentOS7 hive-1.1.0-cdh5.14.0 hadoop-2.6.0-cdh5.14.0 Hive JDBC配置與實現 修改$HIVE_HOIME/conf下的hive-site.xml,新增以下內容 &l
筆記:MyBatis 使用 Java API配置
resultset type alias 然而 exe enabled 取數 actor comm 我們已經討論了各種MyBatis配置元素,如envronments、typeAlias和typeHandlers,以及如何使用XML配置它們。即使你想使用基於JavaAPI的
Java學習筆記:前言(Java入門及推薦一本Java教材)
Java入門及推薦一本Java教材 開始學習Java了,學習了一陣子,但只是看書、除錯程式,沒有留下什麼記錄。恰好我也有朋友要學Java。索性我就把Java學習過程中,技術方面的經歷寫出來。方便朋友和大家參考。這些文章不會是固定的。即使以前的文章,如果發現有
Hadoop學習筆記一(通過Java API 操作HDFS,檔案上傳、下載)
package demo.hdfs; import java.util.Arrays; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; impor
學習筆記:深入理解Java虛擬機 第二章:Java內存區域與內存溢出異常(1)
block 物理 裝載 成熟 memory from ram 權力 一個 學習筆記:深入理解Java虛擬機 第二章:Java內存區域與內存溢出異常(1) Java與C++之間有一堵由內存動態分配和垃圾收集技術所圍成的"高墻",墻外面的人想進去,墻裏面的
學習筆記:深入理解Java虛擬機 第二章:Java內存區域與內存溢出異常(2)
保留 頻繁 深入 一是 init方法 對象的引用 整理 緩沖 出現 學習筆記:深入理解Java虛擬機 第二章:Java內存區域與內存溢出異常(2) 三、HotSpot虛擬機對象探秘 1.對象的創建 ? 在Java程序運行過程中時刻都有對象被創建。在語言層面上,創建對象(例如
ElasticSearch 6.x 學習筆記:31.Java API之詞項查詢
1、term查詢 Find documents which contain the exact term specified in the field specified. package cn.hadron; import cn.hadron.
hive學習筆記之一:基本資料型別
### 歡迎訪問我的GitHub [https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos) 內容:所有原創文章分類彙總及配套原始碼,涉及Java、Docker、Kubernetes、DevOPS等; ###
Hive學習筆記,你想知道的Hive
one 什麽 pac 語句 工具 center 版本 推薦 serve 1、 什麽是Hive(蜂巢)? Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,並提供類SQL查詢功能。Hive是基於HDFS之上的數據倉庫,也就是說Hive
hive學習筆記-持續更新
hive --適用於ETL方面的工作 首先我們要知道hive到底是做什麼的。下面這幾段文字很好的描述了hive的特性: 1.hive是基於Hadoop的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供完整的sql查詢功能,可以將sql語句轉換為MapRedu
java技術學習筆記:Maven安裝和作用
Maven是一個基於專案物件模型(POM)的概念的純java開發的開源的專案管理工具。主要用來管理java專案,進行依賴管理(jar包管理,能自動分析專案所需的依賴軟體包,併到Maven倉庫區下載)和專案構建(專案打包和部署)。此外還能分塊開發,提高開發效率。 本文將從以下三個方面寫起: 1
java學習筆記:面向物件
成員變數與區域性變數的區別: /* 成員變數和區域性變數的區別: 1:在類中的位置不同 成員變數:在類中方法外 區域性變數:在方法定義中,或者方法宣告上 2:在記憶體中的位置不同 成員變數:在堆記憶體 區域性變數:在棧記憶體 3:生命週期不同 成員變數
java學習筆記:二維陣列與面向物件
目標: 二維陣列 面向物件程式設計 一、二維陣列 二維陣列就是一個元素為一維陣列的陣列。 格式1: 資料型別[][] 變數名 = new 資料型別[m][n]; m表示這個二維陣列有多少個一維陣列 n表示每一個數組的元素的元素個數 /*
java學習筆記:方法與陣列
方法: 方法的定義與使用: java中方法就是函式,將實現某些功能的程式碼封裝到方法中。 /* 概念:就是完成某個功能的程式碼,函式就是方法 格式: 修飾符 返回值型別 方法名(引數型別 引數名1,引數型別 引數名2....){ 方法體語句: return 返回值:
Java學習筆記:C/S 與B/S 區別!
C/S 是Client/Server 的縮寫,是客戶機與伺服器結構的應用程式;B/S是Brower/Server 的縮寫,是瀏覽器和伺服器結構的應用程式,即Web 應用程式。C/S 與B/S 區別如下: 1)硬體環境不同: C/S 一般建立在專用的網路上, 小範圍裡的網路環境, 區域網
Java技術學習筆記:過濾器鏈的實現方法、配置和案例分析
今天給大家分享的是Java技術學習筆記:過濾器鏈的實現方法、配置和案例分析。 過濾器能夠對網站中的各種內容進行過濾(頁面、Servlet、圖片、檔案),可以在網站內容請求和響應時進行一些操作,完成一些通用的功能。 過濾器鏈 在專案中可以建立多個過濾器,網站內容可能會經過多個過濾器,多個過濾器就形成了過濾
Java技術學習筆記:RMI與RPC的區別
一:RPC 遠端過程呼叫RPC(Remote Procedure Call Protocol)遠端過程呼叫協議,通過網路從遠端計算機上請求呼叫某種服務。一次RPC呼叫的過程大概有10步: 1.執行客戶端呼叫語句,傳送引數 2.呼叫本地系統傳送網路訊息 3.訊息傳送到遠端主機 4.伺服器得到訊息並取得引
Java學習筆記:原型模式總結
type tex 實現類 null ges 復制 n) getattr ado 原型模式(Prototype Pattern)是首先創建一個原型對象,再通過復制這個原型對象來創建更多同類型的對象。這種類型的設計模式屬於創建型模式,它提供了一種創建對象的最佳方式。 這種模式是
大資料技術學習筆記之hive框架基礎3-sqoop工具的使用及具體業務分析
一、CDH版本的介紹及環境部署 -》Hadoop的三大發行版本 -》Apache Hadoop -》
大資料技術學習筆記之hive框架基礎2-hive中常用DML和UDF和連線介面使用
一、分割槽表的介紹及使用 -》需求:統計每一天的PV,UV,每一天分析前一天的資料 -》第一種情況:每天的日誌儲存在同一個目錄中 &nbs