spark SQL經常需要訪問Hive metastore，Spark SQL可以通過Hive metastore獲取Hive表的元數據。從Spark 1.4.0開始，Spark SQL只需簡單的配置，就支持各版本Hive metastore的訪問。註意，涉及到metastore時Spar SQL忽略了Hive的版本。Spark SQL內部將Hive反編譯至Hive 1.2.1版本，Spark SQL的內部操作(serdes, UDFs, UDAFs, etc)都調用Hive 1.2.1版本的class。

原文和作者一起討論:http://www.cnblogs.com/intsmaze/p/6618841.html

　　Spark SQL和hive共用一套元數據庫

<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://192.168.19.131:3306/hivedb?createDatabaseIfNotExist=true</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>hadoop</value>
        </property>
</configuration>
 

bin/spark-shell  --master spark://intsmaze:7077  --executor-memory 512m  --total-executor-cores 2 --driver-class-path /home/intsmaze/mysql-connector-java-5.1.35-bin.jar

sprk on yarn模式

bin/spark-shell  --master yarn  --executor-memory 512m  --total-executor-cores 2 --driver-class-path /home/intsmaze/mysql-connector-java-5.1.35-bin.jar

　　val rdd=sqlContext.sql("select * from default.person limit 2")//現在就可以直接使用sql語句了，只是要指定查詢哪個庫的哪張表。
　　rdd.write.json("hdfs://192.168.19.131:9000/personresult")

import org.apache.spark.sql.hive.HiveContext
val hiveContext = new HiveContext(sc)
hiveContext.sql("select * from default.person ")

bin/spark-sql--master spark://intsmaze:7077 --executor-memory 512m --total-executor-cores 3 --driver-class-path /home/intsmaze/mysql-connector-java-5.1.35-bin.jar

裏面直接寫sql語句。

select * from default.person limit 2

　　第一種是在${SPARK_HOME}/conf目錄下的spark-defaults.conf中添加：spark.jars /intsmaze/lib/mysql-connector-java-5.1.26-bin.jar。

　　第二種是通過添加 ：spark.driver.extraClassPath /intsmaze/lib2/mysql-connector-java-5.1.26-bin.jar這種方式也可以實現添加多個依賴jar，比較方便。

　　第三種是在運行時添加 --jars /intsmaze/lib2/mysql-connector-java-5.1.26-bin.jar。

啟動thrift

　　在spark根目錄下執行：./sbin/start-thriftserver.sh 開啟thrift服務器。

./start-thriftserver.sh --jars /home/hadoop/mysql-connector-java-5.1.35-bin.jar --master yarn

　　start-thriftserver.sh 和spark-submit的用法類似，可以接受所有spark-submit的參數，並且還可以接受--hiveconf 參數。不添加任何參數表示以local方式運行,默認的監聽端口為10000

用beeline測試

在java代碼中用jdbc連接

 <dependency>  
        <groupId>org.apache.hive</groupId>  
        <artifactId>hive-jdbc</artifactId>  
        <version>1.2.1</version>  
</dependency>  
   
<dependency>  
        <groupId>org.apache.hadoop</groupId>  
        <artifactId>hadoop-common</artifactId>  
       <version>2.4.1</version>  
</dependency>  
  
<dependency>  
       <groupId>jdk.tools</groupId>  
       <artifactId>jdk.tools</artifactId>  
       <version>1.6</version>  
       <scope>system</scope>  
       <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>  
   </dependency>  

import java.sql.Connection;  
import java.sql.DriverManager;  
import java.sql.ResultSet;  
import java.sql.SQLException;  
import java.sql.Statement;  
public class Test1 {  
    public static void main(String[] args) throws SQLException {  
        String url = "jdbc:hive2://192.168.19.131:10000/default";  
        try {  
            Class.forName("org.apache.hive.jdbc.HiveDriver");  
        } catch (ClassNotFoundException e) {  
            e.printStackTrace();  
        }  
        Connection conn = DriverManager.getConnection(url,"hadoop","");  
        Statement stmt = conn.createStatement();  
        String sql = "SELECT * FROM personlimit 10";  
        ResultSet res = stmt.executeQuery(sql);  
        while(res.next()){  
            System.out.println("id: "+res.getInt(1)+"\tname: "+res.getString(2)+"\tage:" + res.getInt(3));  
        }  
    }  
} 

這種方式，可以在yarn的管理界面看到，會長起一個任務，該任務負責跑sql語句，但是不能並行跑sql語句，就是同時為兩個用戶輸入的查詢語句同時跑，必須等一個跑完了再跑第二個。

spark sql可視化

第一種方案:
將spark sql代碼打包，sql語句和結果存儲位置作為參數，java代碼收集這些參數後，組裝為命令，調用腳本來向集群提交jar包。

第二種方案：
根據Spark官網所述，Spark SQL實現了Thrift JDBC/ODBC server

最後，這篇文章很久了，一直編輯沒有發布，我現在已經一年不搞spark了，專註java核心技術的研究。

3.sparkSQL整合Hive