IDEA Eclipse
下載scala
下載地址

scala.msi
scala環境變數配置
（1）設定SCALA-HOME變數：如圖，單擊新建，在變數名一欄輸入： SCALA-HOME 變數值一欄輸入： D:\Program Files\scala 也就是scala的安裝目錄，根據個人情況有所不同，如果安裝在E盤，將“D”改成“E”即可。
（2）設定path變數：找到系統變數下的“path”如圖，單擊編輯。在“變數值”一欄的最前面新增如下的 code： %scala_Home%\bin;%scala_Home%\jre\bin; 注意：後面的分號 ； 不要漏掉。
（3）設定classpath變數：找到找到系統變數下的“classpath”如圖，單擊編輯，如沒有，則單擊“新建”，
“變數名”：ClassPath “變數值“：
.;%scala_Home%\bin;%scala_Home%\lib\dt.jar;%scala_Home%\lib\tools.jar.; 注意：“變數值”最前面的 .; 不要漏掉。最後單擊確定即可。

第一步：修改依賴的Scala版本為Scala 2.10.x（預設2.11.7，要做修改）

第二步：加入Spark 1.6.0的jar檔案依賴
下載spark對應的jar包，點選4，下載spark-1.6.1-bin-hadoop2.6.tgz

下載地址

下載Spark，在lib中找到依賴檔案

第三步：找到依賴的Spark Jar檔案並匯入到Eclipse中的Jar依賴


第四步：在src下建立Spark工程包

開發程式有兩種模式：本地執行和叢集執行
修改字型

本地模式

package com.test

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD

object WordCount {
  def main(args: Array[String]){
    /**
     * 第一步：建立Spark的配置物件SparkConf，設定Spark程式的執行時的配置資訊，
     * 例如說通過setMaster來設定程式要連線的Spark叢集的Master的URL，
     * 如果設定為local，則代表Spark程式在本地執行，特別適合於機器配置條件非常差
     * （例如只有1G的記憶體）的初學者
     */
 

    val conf =new SparkConf()//建立SparkConf物件，由於全域性只有一個SparkConf所以不需要工廠方法
    conf.setAppName("wow,my first spark app")//設定應用程式的名稱，在程式的監控介面可以看得到名稱
    conf.setMaster("local")//此時程式在本地執行，不需要安裝Spark叢集
    /**
     * 第二步：建立SparkContext物件
     * SparkContext是Spark程式所有功能的唯一入口，無論是採用Scala、Java、Python、R等都必須要有一個
     * SparkContext
     * SparkContext核心作用：初始化Spark應用程式執行所需要的核心元件，包括DAGScheduler，TaskScheduler，SchedulerBacked，
     * 同時還會負責Spark程式往Master註冊程式等
     * SparkContext是整個Spark應用程式中最為至關重要的一個物件
     */
    val sc=new SparkContext(conf)//建立SpackContext物件，通過傳入SparkConf例項來定製Spark執行的具體引數的配置資訊
    /**
     * 第三步：根據具體的資料來源（HDFS，HBase，Local，FileSystem，DB，S3）通過SparkContext來建立RDD
     * RDD的建立基本有三種方式，（1）根據外部的資料來源（例如HDFS）（2）根據Scala集合（3）由其它的RDD操作
     * 資料會被RDD劃分為成為一系列的Partitions，分配到每個Partition的資料屬於一個Task的處理範疇
     */
    //讀取本地檔案並設定為一個Partition
    val lines=sc.textFile("D://spark-1.6.1-bin-hadoop2.6//README.md", 1)//第一個引數為為本地檔案路徑，第二個引數minPartitions為最小並行度，這裡設為1
 //型別推斷 ,也可以寫下面方式
  //   val lines : RDD[String] =sc.textFile("D://spark-1.6.1-bin-hadoop2.6//README.md", 1)
     /**
   * 第四步：對初始的RDD進行Transformation級別的處理，例如map，filter等高階函式
   * 程式設計。來進行具體的資料計算
   * 第4.1步：將每一行的字串拆分成單個的單詞
   */
    //對每一行的字串進行單詞拆分並把所有行的結果通過flat合併成一個大的集合
    val words = lines.flatMap { line => line.split(" ") }
    /**
     * 第4.2步在單詞拆分的基礎上，對每個單詞例項計數為1，也就是word=>（word,1）tuple
     */
    val pairs = words.map { word => (word,1) }
    /**
     * 第4.3步在每個單詞例項計數為1的基礎之上統計每個單詞在文中出現的總次數
     */
    //對相同的key進行value的累加（包括local和Reduce級別的同時Reduce）
    val wordCounts = pairs.reduceByKey(_+_)
    //列印結果
    wordCounts.foreach(wordNumberPair => println(wordNumberPair._1 + ":" +wordNumberPair._2))
    //釋放資源
    sc.stop()
  }

}

run as ->Scala Application
執行結果

叢集模式

package com.test

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD

object WordCountCluster {
  def main(args: Array[String]){
    /**
     * 第一步：建立Spark的配置物件SparkConf，設定Spark程式的執行時的配置資訊，
     * 例如說通過setMaster來設定程式要連線的Spark叢集的Master的URL，
     * 如果設定為local，則代表Spark程式在本地執行，特別適合於機器配置條件非常差
     * （例如只有1G的記憶體）的初學者
     */
    val conf =new SparkConf()//建立SparkConf物件，由於全域性只有一個SparkConf所以不需要工廠方法
    conf.setAppName("wow,my first spark app")//設定應用程式的名稱，在程式的監控介面可以看得到名稱
   // conf.setMaster("spark://Master:7077")//此時程式在Spark叢集
    /**
     * 第二步：建立SparkContext物件
     * SparkContext是Spark程式所有功能的唯一入口，無論是採用Scala、Java、Python、R等都必須要有一個
     * SparkContext
     * SparkContext核心作用：初始化Spark應用程式執行所需要的核心元件，包括DAGScheduler，TaskScheduler，SchedulerBacked，
     * 同時還會負責Spark程式往Master註冊程式等
     * SparkContext是整個Spark應用程式中最為至關重要的一個物件
     */
    val sc=new SparkContext(conf)//建立SpackContext物件，通過傳入SparkConf例項來定製Spark執行的具體引數的配置資訊
    /**
     * 第三步：根據具體的資料來源（HDFS，HBase，Local，FileSystem，DB，S3）通過SparkContext來建立RDD
     * RDD的建立基本有三種方式，（1）根據外部的資料來源（例如HDFS）（2）根據Scala集合（3）由其它的RDD操作
     * 資料會被RDD劃分為成為一系列的Partitions，分配到每個Partition的資料屬於一個Task的處理範疇
     */
    //讀取HDFS檔案並切分成不同的Partition

  val lines=sc.textFile("hdfs://node1:8020/tmp/harryport.txt")
     //val lines=sc.textFile("/index.html")
   //型別推斷 ,也可以寫下面方式
  //   val lines : RDD[String] =sc.textFile("D://spark-1.6.1-bin-hadoop2.6//README.md", 1)
     /**
   * 第四步：對初始的RDD進行Transformation級別的處理，例如map，filter等高階函式
   * 程式設計。來進行具體的資料計算
   * 第4.1步：將每一行的字串拆分成單個的單詞
   */
    //對每一行的字串進行單詞拆分並把所有行的結果通過flat合併成一個大的集合
    val words = lines.flatMap { line => line.split(" ") }
    /**
     * 第4.2步在單詞拆分的基礎上，對每個單詞例項計數為1，也就是word=>（word,1）tuple
     */
    val pairs = words.map { word => (word,1) }
    /**
     * 第4.3步在每個單詞例項計數為1的基礎之上統計每個單詞在文中出現的總次數
     */
    //對相同的key進行value的累加（包括local和Reduce級別的同時Reduce）
    val wordCounts = pairs.reduceByKey(_+_)
    //列印結果
    wordCounts.collect.foreach(wordNumberPair => println(wordNumberPair._1 + ":" +wordNumberPair._2))
    //釋放資源
    sc.stop()
  }

}

打包
右擊，export，java ，jar File

wordcoun.sh內容

./spark-submit --class com.test.WordCountCluster /root/WordCount.jar

修改許可權chmod 777 wordcount.sh

進入spark/bin目錄下

cd /opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/spark/bin

執行指令碼檔案wordcount.sh

 sh /root/wordcount.sh

讀取hdfs://node1:8020/tmp/harryport.txt目錄下的單詞並統計
執行結果如下：

SBT