Hive的JDBC介面實現（Eclipse環境配置）
實驗環境：
3個節點（OS：ubuntu12.04）：master，node1，node2
hadoop版本：1.0.3
hive版本：0.11.0
1.首先是在叢集上安裝Hive：
（1）下載hive安裝包到本地（我下載到了master節點上，為了減輕master節點的壓力，可以下載到任何一臺節點上進行配置），解壓（解壓到哪裡無所謂），因為hive本質是建立在hadoop上的，而每個節點都有hadoop的配置檔案（$HADOOP_HOME/conf），所以只要配置好hive使它能找到hadoop即可。
（2）配置系統環境變數：
命令：/etc/profile
export HIVE_HOME=你的解壓地址
export PATH=$HIVE_HOME/bin:其它的
然後終端輸入：source /etc/profile 使環境變數對當前終端生效。
（3）修改Hive配置文件：
Hive的配置文件都在$HIVE_HOME/conf中以模板的形式(.template)給出，我們只需手動建立對應的文件即可：
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-exec-log4j.properties.template hive-exec-log4j.properties
cp hive-log4j.properties.template hive-log4j.properties
（4）由於Hive0.11.0預設使用Derby資料庫作為儲存元資料的資料庫，我們可以將此預設的資料庫改為mysql，並修改hive-site.xml檔案：
安裝mysql：sudo apt-get install mysql-server
用root使用者登入：mysql -u root -p
然後建立使用者hive並賦予root許可權。
mysql> CREATE USER 'hive' IDENTIFIED BY 'hive';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;
mysql> flush privileges;
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use against metastore database</description>
</property>注意上面的使用者名稱和密碼都為hive，是上面在mysql中建立的hive使用者。
由於mysql預設是本地登入，因此還需要修改mysql的配置檔案把本地繫結註釋掉：
命令：sudo gedit /etc/mysql/my.cnf
將"# bind-address = 127.0.0.1 “ 這行註釋掉。
重啟mysql服務：sudo service mysql restart
將mysql的JDBC驅動包複製到Hive的lib目錄下。（驅動包從網上下載）
（5）啟動hive：
終端輸入：hive
進入hive的命令列介面，輸入show tables; （注意hive的每個hql命令都有分號結束）
若結果正常輸出，說明hive配置成功。
2.建立專案實現hive的jdbc介面
（6）在Eclipse中新建一個Java專案，我的命名：HiveJdbcClient
之後右鍵專案，點選Build Path->Configure Build Path->Libraries
將$HIVE_HOME/lib下的全部Jar包和hadoop-core-1.0.3.jar新增到專案中。
還要記得：
Eclipse上程式操作Hive：
需要hive開啟埠監聽使用者的連線：hive --service hiveserver
專案原始碼：
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import org.apache.log4j.Logger;
/**
* Handle data through hive on eclipse
* @author urey
* @time 2013\12\26 19:14
*/
public class HiveJdbcClient {
private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
private static String url = "jdbc:hive://192.168.181.128:10000/default";
private static String user = "";
private static String password = "";
private static String sql = "";
private static ResultSet res;
private static final Logger log = Logger.getLogger(HiveJdbcClient.class);
public static void main(String[] args) {
try {
Class.forName(driverName);
//Connection conn = DriverManager.getConnection(url, user, password);
//預設使用埠10000, 使用預設資料庫，使用者名稱密碼預設
Connection conn = DriverManager.getConnection("jdbc:hive://192.168.181.128:10000/default", "", "");
Statement stmt = conn.createStatement();
// 建立的表名
String tableName = "testHiveDriverTable";
/** 第一步:存在就先刪除 **/
sql = "drop table " + tableName;
stmt.executeQuery(sql);
/** 第二步:不存在就建立 **/
sql = "create table " + tableName + " (key int, value string) row format delimited fields terminated by '\t'";
stmt.executeQuery(sql);
// 執行“show tables”操作
sql = "show tables '" + tableName + "'";
System.out.println("Running:" + sql);
res = stmt.executeQuery(sql);
System.out.println("執行“show tables”執行結果:");
if (res.next()) {
System.out.println(res.getString(1));
}
// 執行“describe table”操作
sql = "describe " + tableName;
System.out.println("Running:" + sql);
res = stmt.executeQuery(sql);
System.out.println("執行“describe table”執行結果:");
while (res.next()) {
System.out.println(res.getString(1) + "\t" + res.getString(2));
}
// 執行“load data into table”操作
String filepath = "/home/hadoop/file/test2_hive.txt";
sql = "load data local inpath '" + filepath + "' into table " + tableName;
System.out.println("Running:" + sql);
res = stmt.executeQuery(sql);
// 執行“select * query”操作
sql = "select * from " + tableName;
System.out.println("Running:" + sql);
res = stmt.executeQuery(sql);
System.out.println("執行“select * query”執行結果:");
while (res.next()) {
System.out.println(res.getInt(1) + "\t" + res.getString(2));
}
// 執行“regular hive query”操作
sql = "select count(1) from " + tableName;
System.out.println("Running:" + sql);
res = stmt.executeQuery(sql);
System.out.println("執行“regular hive query”執行結果:");
while (res.next()) {
System.out.println(res.getString(1));
}
conn.close();
conn = null;
} catch (ClassNotFoundException e) {
e.printStackTrace();
log.error(driverName + " not found!", e);
System.exit(1);
} catch (SQLException e) {
e.printStackTrace();
log.error("Connection error!", e);
System.exit(1);
}
}
}
將專案執行在Hadoop上，成功！
並且我們可以在hdfs上找到剛才上傳的檔案：
