spark 訪問 hive,不能獲取到資料資訊
阿新 • • 發佈:2020-11-12
前言
HDP version: 3.x
HIVE version: 3.x
問題描述
使用hdp版本的叢集服務,當安裝好spark以後,執行spark.sql ,不能查詢到hive的資料庫,只查詢到default資料庫,說明spark沒有連線到hive。
問題現象
分析:
1、通過上圖可以看到spark載入的hive-site.xml檔案。
2、可以看到hive的版本是3.0
3、可以看到spark連線到metastore元資料服務了
4、執行show databases時候,只顯示了default預設資料庫
解決
上述提到了一個載入的配置檔案,檢視這個檔案的配置,發現如下引數與叢集的不一致
修改成如下的值:
<property> <name>hive.server2.thrift.http.port</name> <value>10001</value> </property> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>metastore.catalog.default</name> <value>hive</value> </property>