Spark-IDEA建立Spark專案(scala)
阿新 • • 發佈:2018-12-16
安裝JDK、Scala、IDEA見我的其他部落格有詳細的介紹。
啟動idea:
進入到某個資料夾:
File-NewProject:Scala-IDEA
Project Name:
File-Project Structure-Modules:新建資料夾,設為source
新增Library:
scala SDK:
Java Library:選擇$SPARK_HOME/jar/下的所有包:
因為太多分兩次匯入的所有會有兩個:
新建包,建立檔案:
下面的案例使用scala.class。注意hadoop,spark要開啟。
直接在spark-shell下的案列不需要new出conf,sc,啟動時已經初始化了,程式碼編寫時卻不能省略。
在IDEA裡面編寫的程式碼既可以直接在IDEA中執行或除錯,也可以打包後提交到spark-shell。
1.直接執行:
執行之前需要進行編譯:Build-Make Project或者Ctrl+F9
編譯通過後,在程式碼介面單擊滑鼠右鍵,選擇執行程式彈出“執行/除錯配置”,或者下面:
選擇輸入設定的兩個路徑引數:路徑是本地裡面的,不是hdfs裡面的,因為這個本地開發。Main Class也要選
單擊Run-Run或Shift+F10執行:
執行可能會出現問題,把scala-SDK換成2.11版就行。
2.打包執行
設定包的輸出路經:
設定完畢後:
生成專案的打包檔案:
將檔案提交到spark叢集就可以了:
提交: