package sparkcore

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Demo03Filter {
  def main(args: Array[String]): Unit = {
    //建立spark環境
    val conf: SparkConf = new SparkConf().setAppName("Filter").setMaster("local")

    //spark 上下文物件
    val sc = new SparkContext(conf)

    //建立一個RDD
    val listRDD: RDD[Int] = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8))

    /**
      * filter運算元，函式返回true保留資料，函式返回false過濾資料
      */
    /**
      * 轉換運算元：懶執行，需要action運算元出發執行
      * 操作運算元：觸發任務執行，每一個action運算元都會出發一個任務
      *
      */
    println("filter之前")
    val filterRDD: RDD[Int] =listRDD.filter(i => {
      println("filter"+i)
      i%2==1
    })
    println("filter之後")

    //每一個action運算元出發執行的時候都會將前面的程式碼執行一遍
    filterRDD.foreach(println)
    filterRDD.foreach(println)
  }

}