idea,maven打包spark程式(scala)的jar檔案
阿新 • • 發佈:2019-02-17
1.new-->project--->maven 填入GroupId和ArtifactId(相當於給你的專案起名字)
2.在pom.xml中<project>標籤中建立</dependencies>標籤
3.在http://mvnrepository.com/ 中找到你要新增的包 複製到pom.xml中的</dependencies>中,儲存
4.刪除test 以及main中的java資料夾
5.main中新建scala資料夾
6.右擊專案-----》Add Frameworks Support----》選擇scala 確定
7.右擊scala----》Make Directory As----->Sources Root
4.寫程式
5.File--->Project Structure---->Artifacts----》點選+號--》JAR--》From Modules with---》選好主類 確認
6.刪除左下框xxx.jar檔案除了“xxx compile output”的其他檔案---》確認
7.Build---》Build Artifacts----》xxx:jar build---》Build
8.編譯完成後在out資料夾中可找到編譯好的jar檔案
9.上傳jar檔案到叢集
10.spark-submit --class Recommder --master spark://hadoop1:7077 recomm.jar "coinse_sim_du=0.9/"
問題:
1.出現jvm 的問題 可以用如下方法
開啟 IDEA 安裝目錄,看到有一個 bin 目錄,其中有兩個 vmoptions 檔案,需針對不同的JDK進行配置:
32 位:idea.exe.vmoptions
64 位:idea64.exe.vmoptions
調整裡面的Xmx 和Xms引數
2.出現找不到主類的情況,可以如下解決
(1)解壓jar檔案看看對應的路徑有沒有相應的.class檔案,如果沒有肯定找不到
(2)打包的時候看是不是把其他依賴包打了進去。如果是請重新打包。