問題：pom裡面不寫spark版本（<spark.version>2.0.0</spark.version>）的話，可能會預設用spark1.6導致版本衝突異常——語法通過但無法編譯執行

問題（spark版本必須對應Scala版本）：參考https://mvnrepository.com/artifact/org.apache.spark/spark-hive上面的spark和Scala混搭版本（不用理會hive版本）組合jar和pom寫法如下圖——

或者先看看自己的spark自帶的jar依賴到底用啥Scala版本（spark1.6似乎沒有這個目錄）：

若沒對應上版本的話，會出現各種亂七八糟的異常，比如無法使用dataframe，報hive metastore初始化失敗；

問題（依賴）：idea的maven工程裡，project structure -> modules -> dependencies 和 pom.xml依賴設定，如spark-core依賴只寫project structure會出現找不到依賴的異常，雖然語法沒問題；但是如果是下面這個包：

import org.apache.spark.mllib.linalg.distributed.RowMatrix

只寫pom，不在project structure -> modules -> dependencies配置的話，語法都過不了，這個mllib比較奇葩（看起來是由於org.apache.spark字首跟其他的包有歧義了，但hive等其他的包沒有此問題）。

參考解決方式：一般pom設定就能跑起來了（對大部分jar包project structure依賴加不加似乎無所謂）；spark-shell沒有此困擾；

問題（初始化）：spark2.0要指定本地測試的工作路徑.config("spark.sql.warehouse.dir","file:///work/4/test/spark-warehouse")否則：URISyntaxException: Relative path in absolute URI...

問題（虛擬機器）：Ubuntu裡面要先啟動Hadoop服務（後啟動spark），才能使用dataset、dataframe等，否則報拒絕連線等異常；

問題：spark2.3查詢hbase0.96.1.1出現空指標異常（或者spark2.2這裡卡住不動）,這應該是spark2本身的bug：

NoSuchMethodError: org.apache.hadoop.mapreduce.InputSplit.getLocationInfo()...

點進到對應原始碼位置會發現spark2.+沒有getLocationInfo函式，估計是spark從1升2的時候刪掉了，但這裡沒改好。

解決方式：換到spark1.6就好了o(╯□╰)o