1. 程式人生 > >CDH5.5.0中配置執行Spark SQL的Thrift Server

CDH5.5.0中配置執行Spark SQL的Thrift Server

CDH5.5.0裡面閹割了spark-sql和sparkR,目錄裡面都沒有start-thriftserver.sh,哪怕是spark Standalone部署。


前面帖子講到,CDH5.5.0 spark-sql沒有的情況下,在一個節點部署外面社群版的spark1.5.2,spark on yarn後,spark-sql shell的方式可以查詢了。
但是問題來了,jdbc如何使用spark-sql?
Hive的配置裡面有HiveServer2是開著的,如下:
插圖:


很好,metastore也開著,beeline測試一下
beeline -u jdbc:hive2://192.168.100.11:10000/default -n hive

可以連線上。但是執行的sql,用的是MR,有木有搞錯?

插圖:




那麼我要用spark-sql咋辦?



CDH5.3.2中配置執行Spark SQL的Thrift Server
http://blog.csdn.net/freedomboy319/article/details/46332009


這位仁兄給的辦法不適用我的場景,但是啟動thriftserver的方法是可以借鑑的。


為避免埠衝突,停掉Hive裡面的 HiveServer2,或者在一臺沒有HiveServer2的節點上新開任務。
我是選擇新的機器來測試,懶得搞hive-stie的配置了。


########################  --master yarn
cd $SPARK_HOME/sbin
./start-thriftserver.sh --master yarn

然後在視窗觀察:4040埠和10000埠(預設配置10000埠)
插圖:


然後用瀏覽器登入:ip:4040埠,自動跳轉到yarn的Application UI上,觀察:
插圖:


走兩步看看:
插圖:



######################## --master local
cd $SPARK_HOME/sbin
./start-thriftserver.sh --master local





看到區別了,Executor只有Driver,yarn有好幾個。