Scala的 練習https://blog.csdn.net/yewakui2253/article/details/80022403

alt+p可以用來上傳東西僅限於secureCRT

然後put F:\Users\Administrator\WorkspacesIDEA\scalaMaven\target\scalaMaven-1.0.jar就可以將東西傳到Linux上了

沒啟動spark的話。

可以通過 sbin/start-all.sh 來啟動spark

按crtl+c來終止任務，而不是ctrl+z

spark-shell --master spark://192.168.235.128:7077  連線到spark上

 spark-shell --master spark://192.168.235.128:7077 --total-executor-cores 3 調整任務用核的數量

 spark-shell --master spark://192.168.235.128:7077 --executor-memory 2g 用2g執行記憶體

spark-submit --master spark://192.168.235.128:7077 --class org.apache.spark.examples.SparkPi /export/servers/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 100   用來執行spark-submit任務

遠端除錯程式碼如下

package com.wxa.spark.one

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by root on 2016/5/14.
  * 遠端除錯的方法
  */
object WordCount {
  def main(args: Array[String]) {
    //非常重要，是通向Spark叢集的入口
    val conf = new SparkConf().setAppName("WC").
      setJars(Array("F:\\Users\\Administrator\\WorkspacesIDEA\\scalaMaven\\target\\scalaMaven-1.0.jar"))
        .setMaster("spark://hadoop01:7077")

    val sc = new SparkContext(conf)

    //textFile會產生兩個RDD：HadoopRDD  -> MapPartitinsRDD
    sc.textFile(args(0)).cache()
      // 產生一個RDD ：MapPartitinsRDD
      .flatMap(_.split(" "))
      //產生一個RDD MapPartitionsRDD
      .map((_, 1))
      //產生一個RDD ShuffledRDD
      .reduceByKey(_+_)
      //產生一個RDD: mapPartitions
      .saveAsTextFile(args(1))
    sc.stop()
  }
}