1. 程式人生 > 實用技巧 >spark 訪問 hive,不能獲取到資料資訊

spark 訪問 hive,不能獲取到資料資訊

前言

HDP version: 3.x
HIVE version: 3.x

問題描述

使用hdp版本的叢集服務,當安裝好spark以後,執行spark.sql ,不能查詢到hive的資料庫,只查詢到default資料庫,說明spark沒有連線到hive。

問題現象


分析:
1、通過上圖可以看到spark載入的hive-site.xml檔案。
2、可以看到hive的版本是3.0
3、可以看到spark連線到metastore元資料服務了
4、執行show databases時候,只顯示了default預設資料庫

解決

上述提到了一個載入的配置檔案,檢視這個檔案的配置,發現如下引數與叢集的不一致

修改成如下的值:

 <property>
      <name>hive.server2.thrift.http.port</name>
      <value>10001</value>
    </property>

    <property>
      <name>hive.server2.thrift.port</name>
      <value>10000</value>
    </property>
    
    <property>
      <name>metastore.catalog.default</name>
      <value>hive</value>
    </property>

借鑑:
| https://juejin.im/post/6844903953558159368