Spark原始碼是有Scala語言寫成的，目前，IDEA對Scala的支援要比eclipse要好，大多數人會選在在IDEA上完成Spark平臺應用的開發。因此，Spark原始碼閱讀的IDE理所當然的選擇了IDEA。今天將與大家分型Windows7+IDEA+SBT搭建Spark原始碼除錯與閱讀環境。

實驗環境準備：

l  JDK： Java 語言的軟體開發工具包(SDK)

參考網址： http://www.oracle.com/technetwork/java/javase/downloads/index.html

l  IDEA：有兩個版本：Ultimate Edition & Community Edition，後者是free的，而且完全能滿足學習者所有的需求

參考網址：http://www.jetbrains.com/idea/download/

l  Scala：Spark是用Scala語言寫成的，在本地編譯執行需要這個包

參考網址：http://www.scala-lang.org/download/

l  SBT：scala工程構建的工具

參考網址：http://www.scala-sbt.org/download.html

l  Git：IDEA自動下載SBT外掛時可能會用到的工具

參考網址：http://git-scm.com/download/

參考網址：http://git-scm.com/download/

第一部分：下載安裝如上軟體並實驗環境測試準備：

JDK軟體驗證測試

完成後，在windows命令列中輸入Java -version，檢查是否識別此命令。
如果不識別，檢視環境變數Path中是否有....\jdk\bin（我的電腦右鍵，屬性 -> 高階系統設定 -> 環境變數），如果沒有，自己手動新增Scala資料夾下的bin目錄的路徑。

Scala軟體驗證測試：

完成後，在windows命令列中輸入scala，檢查是否識別此命令。
如果不識別，檢視環境變數Path中是否有....\scala\bin（我的電腦右鍵，屬性 -> 高階系統設定 -> 環境變數），如果沒有，自己手動新增Scala資料夾下的bin目錄的路徑。

SBT軟體驗證測試：

執行SBT的安裝程式，執行完成後，重新開啟windows命令列，輸入sbt，檢查是否識別此命令。沒有的話，手動配置環境變數，新增...\sbt\bin

執行完SBT的安裝程式之後，並不意味著完成了sbt的安裝，在windows命令放下輸入sbt後，SBT會自動的下載安裝它所需要的程式包，請耐心等待全部下載成功。

Git軟體驗證測試：

執行Git的安裝程式，安裝完成後，重新開啟windows命令列，檢查時候識別git命令。或者直接啟動GitHub,Inc/Git Shell程式。

安裝IDEA軟體

按要求直接安裝即可。

第二部分：IDEA的Scala外掛安裝：

1、選擇FileàSetting

2、選擇右側的 Install Jetbrains Plugin， 在彈出視窗的左側輸入scala，然後點選安裝，如下圖所示。

3、scala外掛安裝結束，需要重啟idea生效

第三部分：加壓縮官網下載的原始碼包或者找到通過Git抽取的Spark原始檔：

         我用的是spark-1.1.1版本（最新版本），由於idea 13已經原生支援sbt，所以無須為idea安裝sbt外掛。

原始碼下載(用git工具)：

# Masterdevelopment branch

gitclone git://github.com/apache/spark.git

# 1.1 maintenancebranch with stability fixes on top of Spark 1.1.1

gitclone git://github.com/apache/spark.git -b branch-1.1

原始碼更新（用git工具同步跟新原始碼）：

gitclone https://github.com/apache/spark.git

註解：這用IDEA匯入Spark原始碼時，可以省略下面這些操作，可以直接進入第四部分，實際上在用IDEA匯入Spark原始碼時，裡面了包含了如下操作，即生成idea工程（記得是進入原始碼專案中，我下載的原始碼放在E:\Spark計算框架的研究\spark_1_1_1_idea資料夾中），命令如下：

先用命令sbt，之後用命令gen-idea，如下圖所示：

出現如下錯誤：

錯誤原因及解決方案：由於檔案路徑中出現了中文，解決方案，將中文路徑改為英文路徑。

第四部分：在IDEA中匯入Spark工程

1、在主介面的選單欄File下，選Import Project，找到解壓之後的spark工程資料夾，我暫時選的為（E:\Spark計算框架的研究\spark_1_1_idea）資料夾。

（解壓縮的Spark原始碼可以先不用sbt工具生成ieda工程的，IDEA內在匯入檔案時，直接包含了sbt生成idea工程的功能）

2、選擇專案型別為sbt project，然後點選next。（這個選項只有在安裝了IDEA的Scala外掛才會有）。

3、確定SBT project專案的位置，（註解：有些blog說是——選擇Project SDK為JDK，不解，我在此標明一下），最好勾上Use auto-import，然後點選Finish。這時，IDEA會自動下載安裝SBT所需的各個包，沒有裝Git的話可能會報錯。

第一次解釋後，出現如下錯誤。

繼續操作一遍出現如下錯誤：（註解：和單獨用cmd命令sbt,之後gen-idea，是一樣的錯誤）

錯誤原因及解決方案：由於檔案路徑中出現了中文，解決方案，將中文路徑改為英文路徑。本文我從新解壓Spark-1.1.1.tgz原始碼放入如下路徑（E:\spark_1_1_1_idea_English），按第四部分中的1,2,3再重複操作一篇。操作成功了。如下所示：

4、匯入完成

匯入完成後，自動開啟工程，要等一段時間，等待sbt對這個工程進行編譯。編譯完成後出現如下視窗。在出現的視窗中就可以進行Spark原始碼進行研究了，是不是感覺很有成就感，現在就開始研究只有2萬行左右的Spark核心原始碼吧。如果你覺得白色背景不好看，可以換上很酷的黑色背景，設定步驟如下：

File à Settings à Appearance à Theme 選擇Darcula，之後重新啟動即可。

參考的Blog網址：

ApacheSpark原始碼走讀之18 -- 使用Intellij idea除錯Spark原始碼 - 徽滬一郎

Spark作業程式碼(原始碼)IDE遠端除錯-其它

Windows + IDEA + SBT 打造Spark原始碼閱讀環境 2014-10-15 by guozhongxin

Spark開發環境的配置