spark連線並讀取本地檔案報錯總結
阿新 • • 發佈:2018-12-17
1.scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
錯誤原因:scala版本與spark版本相容問題導致,可在maven倉庫看spark所使用jar包支援的scala版本。
注意點:在idea中全域性設定調整scala版本時,注意該專案是否對改變生效。
2.java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf
類似相關jar包裡的類找不到問題,檢查pom是否包含以下四個:
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-common</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-jobclient</artifactId> <version>2.7.2</version> </dependency>