spark由scala語言編寫，開發spark程式，自然也少不了scala環境，這裡介紹如何利用Intellij IDEA開發spark。

1、環境準備。jdk,scala,idea這些對於本文來說都已經預設安裝。

2、idea中安裝scala language外掛。File->Settings->Plugins->Browse Repositories，搜尋scala。選中Scala,點選Install。

3、新建java工程。

4、設定scala sdk。File->Project Structure->Libraries->+，新建Scala SDK。

如果之前沒有配置過系統的scala sdk，選擇Browse,指定系統中安裝的scala位置。

5、匯入spark-library。繼續上一步中的File->Project Structure->Libraries->+Java。新建一個java的庫，然後匯入spark的jar包。最後可以對jar資料夾命名。這裡我叫spark-lib。

最終形成的libary長這樣子。

6、設定sources。File->Project Structure->Modules->Sources->src。這裡選中src，右鍵New Folder取名main,然後在main下面new folder:java,resources,scala。最後右鍵scala資料夾，選擇Sources。然後右側的+Add Content Root下面就會增加src\main\scala作為原始檔夾。

如果不設定原始檔夾或者設定錯誤，後面執行spark程式會出錯。

不設定時，報錯

錯誤: 找不到或無法載入主類 scala.HelloWorld

main,main\scala資料夾均設定為Sources就會報如下錯誤，因此只需要設定scala資料夾為Sources。

Error:(5, 8) HelloWorld is already defined as object HelloWorld
object HelloWorld {

7、編寫程式。右鍵scala資料夾->New->Scala Class->選擇object。

編碼如下：

package scala
import org.apache.spark.{SparkConf, SparkContext}
object HelloWorld {
def main(args: Array[String]): Unit = {
val logFile = "E:\\software\\spark-2.3.0-bin-hadoop2.7\\helloSpark.txt"
val conf = new SparkConf().setAppName("wordcount").setMaster("local")
val sc = new SparkContext(conf)
val rdd = sc.textFile(logFile)
val counts = rdd.flatMap(line=>line.split(",")).map(x=>(x,1)).reduceByKey((x,y)=>(x+y))
counts.foreach(println)
sc.stop()
  }
}

執行，Ctrl+Shift+F10。

以下是部分日誌，單詞統計結果出現在日誌中：

2018-04-04 23:32:57 INFO  Executor:54 - Running task 0.0 in stage 1.0 (TID 1)
2018-04-04 23:32:57 INFO  ShuffleBlockFetcherIterator:54 - Getting 1 non-empty blocks out of 1 blocks
2018-04-04 23:32:57 INFO  ShuffleBlockFetcherIterator:54 - Started 0 remote fetches in 6 ms
(scala,1)
(spark,2)
(hello,3)
(sparkui,1)
(java,1)
2018-04-04 23:32:57 INFO  Executor:54 - Finished task 0.0 in stage 1.0 (TID 1). 1138 bytes result sent to driver
2018-04-04 23:32:57 INFO  TaskSetManager:54 - Finished task 0.0 in stage 1.0 (TID 1) in 56 ms on localhost (executor driver) (1/1)
2018-04-04 23:32:57 INFO  TaskSchedulerImpl:54 - Removed TaskSet 1.0, whose tasks have all completed, from pool 
2018-04-04 23:32:57 INFO  DAGScheduler:54 - ResultStage 1 (main at <unknown>:0) finished in 0.072 s
2018-04-04 23:32:57 INFO  DAGScheduler:54 - Job 0 finished: main at <unknown>:0, took 0.859162 s
2018-04-04 23:32:57 INFO  AbstractConnector:318 - Stopped [email protected]{HTTP/1.1,[http/1.1]}{0.0.0.0:4040}
2018-04-04 23:32:57 INFO  SparkUI:54 - Stopped Spark web UI at http://10.119.9.164:4040