安裝步驟

1. 下載編譯了Hive的Spark版本
   官網下載連結給出的都是編譯過Hive的（至少1.6版可以確定是）。CDH自帶的Spark都是沒有帶Hive的，若直接執行./spark-sql，會報錯如下

   Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.cli.CliDriver
     at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
     at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
     at java.security.AccessController.doPrivileged(Native Method)
     at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
     at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
     at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
     at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
     ... 18 more
    
   

   也可以手動編譯帶Hive的Spark，見參考博文1，2。

2. 測試
   執行./spark-sql後，可以在http://your-host:4040/jobs/介面檢視該Spark作業。
   在命令列輸入show databases;，給出結果default。同時，可以在介面檢視到執行該語句的job，見下圖，
   
   若執行其它語句時報錯，應當是Spark與Hive版本不相容造成的，見下一小結的解決方案處理。

3. 配置Hive資料來源
   在Spark安裝目錄下的conf檔案中，新建檔案hive-site.xml，並新增如下內容，以使Spark使用Hive的資料來源（上述步驟2使用的應該是自帶Hive的資料來源）

   <?xml version="1.0" encoding="UTF-8"?>
   
   
   <!--Autogenerated by Cloudera Manager-->
   <configuration>
     <property>
       <name>hive.metastore.uris</name>
       <value>thrift://Hive-Metastore-Server:9083</value>
     </property>
   
   
   </configuration>
    
   

   之後重新執行spark-sql，在命令列輸入show databases;，給出結果default lykdata。

問題–Hive版本不相容的問題

1.下載沒有hadoop的版本。

比如spark-1.5.2-bin-without-hadoop.tgz。

2.複製CDH中關於Spark 的 conf

採用如下方式獲取Spark的配置，Hadoop的配置獲取方式也類似。

[[email protected] spark-1.3.0-bin-hadoop2.4]# ll /etc/spark/conf
lrwxrwxrwx. 1 root root 28 3月  18
 
 11:31 /etc/spark/conf -> /etc/alternatives/spark-conf
[[email protected] spark-1.3.0-bin-hadoop2.4]# ll /etc/alternatives/spark-conf
lrwxrwxrwx. 1 root root 38 3月  18 11:31 /etc/alternatives/spark-conf -> /etc/spark/conf.cloudera.spark_on_yarn
[[email protected] spark-1.3.0-bin-hadoop2.4]# ll /etc/spark/conf.cloudera.spark_on_yarn

total 24
-rw-r--r--. 1 root root   21 3月  18 11:31 __cloudera_generation__
drwxr-xr-x. 3 root root 4096 6月   1 16:24 conf.cloudera.spark_on_yarn
-rw-r--r--. 1 root root  550 3月  18 11:31 log4j.properties
-rw-r--r--. 1 root root  654 3月  18 11:31 spark-defaults.conf
-rw-r--r--. 1 root root 2345 3月  18 11:31 spark-env.sh
drwxr-xr-x. 2 root root 4096 3月  18 11:31 yarn-conf

用最後獲取到的配置檔案替換掉Spark目錄下的conf。

3.修改conf/spark-env.sh

    export SPARK_HOME=.

4.修改conf/spark-defaults.conf

上傳Spark自帶的lib/spark-assembly-1.6.0-hadoop2.2.0.jar

到/user/asin/spark-assembly-1.6.0-hadoop2.2.0.jar，之後修改conf/spark-defaults.conf，

spark.yarn.jar=hdfs:///user/asin/spark-assembly-1.6.0-hadoop2.2.0.jar

參考