檢視Spark叢集的搭建

Spark On Hive 配置步驟

1. 在Spark客戶端安裝包下的conf目錄中建立檔案hive-site.xml，配置hive的metastore路徑

<configuration>
   <property>
        <name>hive.metastore.uris</name>
        <value>thrift://node01:9083</value>
   </property>
</configuration>

2. 啟動Hive的metastore服務

hive --service metastore 

3. 啟動zookeeper叢集，啟動Hadoop叢集
4. 啟動SparkShell 讀取Hive中的表總數，對比hive中查詢同一表查詢總數測試時間

注意

如果使用Spark on Hive 查詢資料時，出現錯誤：

找不到Hadoop叢集路徑，要在客戶端機器conf/spark-env.sh中設定Hadoop的路徑：

總結

上面寫了一大堆，其實總體就兩步：

• 配置hive的metastore路徑
• 設定Hadoop路徑