1. 程式人生 > >IDEA配置Maven-scala方式具體操作

IDEA配置Maven-scala方式具體操作

   1、首先需要在IDEA中配置好scala的軟體環境;

下載scala---windows版本,雙擊安裝即可。要記好安裝目錄。

  1. 配置scala在IDEA中的語言環境File--Settings--Plugins---Browse repositories,直接搜尋scacla,拉到下邊找到LANGUAGES選項;如果沒有安裝過,右邊框中會提示安裝。直接安裝即可。

 

  1. 此刻就可以書寫scala程式了。按照如圖所示進行選擇即可

 

  1. 配置maven環境:下載地址http://maven.apache.org/download.cgi,下載完成後直接解壓到想要的目錄中。

 

 

  1. 配置maven的環境變數:只需要配置path即可,此時需要把maven的絕對路徑放在這裡邊---需要注意要到bin目錄位置。

使用cmd檢查配置:mvn -v,如果能看到java的相關資訊證明安裝正確。

 

6.配置IDEA的maven環境:File---Settings---Build,Execution,Deployment---Build Tools---Maven

新增自己安裝的maven。

在新增一個設定,如圖所示:

  1. 新建Maven Scala專案

File--new Project

完成後,進入下一步:

下一步要選擇自己下載maven檔案的xml和自己建立一個目錄,選擇這個目錄即可:

下一步直接完成:

所有都完成之後,如果是第一次建立此類工程,會下載很多東西。大致需要10分鐘左右。看到如下資訊證明配置完成:

現在還沒有scala的環境,需要把scala新增進來:File--Project Structure--Global Libraries--+ 新增進來scala:

完成後可以在工程中看到scala的語言了:

此時還不能建立scala程式,需要進行目錄的設定:選擇工程目錄右鍵---Mark Directory As---Recources Root。

之後可以進行scala程式在maven環境中開發:

程式和執行結果如下:

現在可以配置spark的環境了:File--Project Structure--Global Libraries--+ 新增進來spark

現在就可以在IDEA的Maven環境中開發spark程式了。寫一段程式吧:

目錄中右鍵,可以看到scala class確定,選擇object:

首先使用本地執行示例:

package scala.T001



import org.apache.spark.{SparkConf, SparkContext}



object WordCount1 {

  def main(args: Array[String]): Unit = {

    val conf=new SparkConf().setAppName("wordcount").setMaster("local")

    val sc=new SparkContext(conf)

    val rdd=sc.textFile("C:\\Program Files\\Common Files\\VMware\\Drivers\\vmci\\sockets\\include\\vmci_sockets.h")

    val wordCount=rdd.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_)

    val wordSort=wordCount.map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1))

    val result=wordSort.take(10)

    wordSort.saveAsTextFile("C:\\Program Files\\wortsort111")

  }

}

可以在本地找到一個產生的結果檔案:

遠端執行:

  好了,具體的流程操作完了,如需解決更多技術問題,可以掃描螢幕下方二維碼: