說明，由於spark是用scala寫的。因此，不管是在看原始碼還是在寫spark有關的程式碼的時候，都最好是用scala。由於我個人以前是純粹的Pythoner，一直使用的都是PyCharm，然而最近換了新工作後，由於各種原因，要麼使用付費軟體，要麼使用免費軟體，所以，我被迫選擇了eclipse以及scala進行spark程式的開發。既然無法拒絕，那就好好享受，下面就為您介紹一下eclipse + Maven + Scala + Spark的開發以及編譯。
首先，Maven的環境配置我就不多說了，很簡單 Maven的安裝以及配置，window以及linux

一、eclipse的下載安裝

關於，java、scala之類的環境我就不做過多介紹了
做多了之後，你會發現，安裝環境基本都是下載官方包，解壓，然後配置環境變數。
由於是第一次使用eclipse，說實話不是特別熟悉，為了簡化操作，我直接使用了scala官方的IDE，也是完全免費的
http://scala-ide.org/
直接下載Scala For Eclipse的IDE即可
這個工具，scala的外掛都是設定好的，解壓後直接使用就可以了

二、如何用maven工程寫scala的程式碼

往往在建立maven工程的時候，會沒有scala-archetype-simple的模型，因此需要手動新增自定義的catalog，新增的方法就是如下所示：

步驟：window–>preferences—>maven—>Archetype 接下來的操作如下圖所示：

網址：http://repo1.maven.org/maven2/archetype-catalog.xml

接下來我們就來建立一個scala的maven專案

點選next之後，我們主要填寫一下三個引數：

groupId

定義了專案屬於哪個組，舉個例子，如果你的公司是mycom，有一個專案為myapp，那麼groupId就應該是com.mycom.myapp

artifacted
定義了當前maven專案在組中唯一的ID,比如，myapp-util,myapp-domain,myapp-web等。

version
指定了myapp專案的當前版本，SNAPSHOT意為快照，說明該專案還處於開發中，是不穩定的版本。

設定完畢之點選next，基本就看到Eclipse開始下載環境了，下載完畢我們就能看到如下的專案結構了，為了方便快速執行起來，我這裡刪除了test下的程式

同時也刪除了pom.xml中的測試依賴

至此，我們已經可以執行scala程式了

三、配置本地Maven到Eclipse中

我們在第一步中配置了Archetype下的Catalog
1、配置Maven的安裝目錄到Eclipse上
在這一步中，我們要配置本地Maven到Eclipse中
步驟：window–>preferences—>maven—>Installations 接下來的操作如下圖

2、配置Maven的settings.xml到Eclipse上
步驟：window–>preferences—>maven—>User Settings