Spark(八) -- 使用Intellij Idea搭建Spark開發環境
Intellij Idea下載地址:
官方下載
選擇右下角的Community Edition版本下載安裝即可
本文中使用的是windows系統
環境為:
jdk1.6.0_45
scala2.10.5
在網上下載jdk和scala的安裝包雙擊執行安裝即可
注意:如果之後要將scala檔案打包成jar包並在spark叢集上執行的話,請確保spark叢集和打包操作所在機器 環境保持一致!不然執行jar包會出現很多異常
要使用idea開發spark程式首先要安裝scala外掛
進入idea主介面
線上安裝:
選擇Plugins
輸入scala
選擇安裝即可
離線安裝:
下載完scala外掛包之後,在idea主介面的Plugins中選擇從本地安裝
選擇下載好的scala外掛安裝即可
本文使用的是Idea14.1.3 對應的scala外掛版本為1.5
不同版本的Idea對應的scala外掛版本可能不同,無法識別
現在可以用idea來新建一個scala專案
New Project->Scala
再此頁面中選擇jdk和scala安裝的目錄,Idea會自動識別
Finish完成Project的建立
在File中選擇Project Structure對專案進行配置
選中左側的Mudules,點選+號新增一下新的Module。Idea中的Project相當於Eclipse中的一個WorkSpace,裡面的Module相當於Project
新建一個First的Module
在src目下新新建main和scala目錄,並設定為Sources型別
點選左側的Liberaries,點選+進行新增spark的jar包
只要引入圖中的那個jar包即可,spark版本為1.3.1,一般下載spark之後可以在其目錄下找到
在scala資料夾下右鍵新建一個scala class,型別選擇為Object
編寫簡單的程式碼
File->Project Structure->在右側選擇Artifacts->JAR->From modules with dependencies
選擇新建的Test
將預設的SparkApp:jar重新名一下,並將依賴包刪除,只剩First這個module本身(因為叢集上已經安裝了jdk,scala和spark,所以那些包可以去掉節省編譯時間)
在選單欄上選擇Build->Build Artifacts
如圖所示的操作
編譯成功後可以在對應的輸出資料夾下找到jar包
需要注意:
編譯選擇Main Class時如果是手動選擇Object的話,Idea會彈出錯誤提示xx is not acceptable,而讓其自動過濾選擇的時候就不會。。。
scala程式碼中,如果註釋中有中文預設可能會編譯錯誤
在下圖設定中加入
-ENCODING UTF-8
即可