1. 程式人生 > 其它 >spark之交集並集差集拉鍊

spark之交集並集差集拉鍊

spark之交集並集差集拉鍊

def main(args: Array[String]): Unit = {

        val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
        val sc = new SparkContext(sparkConf)

        // TODO 運算元 - 雙Value型別

        // 交集,並集和差集要求兩個資料來源資料型別保持一致
        // 拉鍊操作兩個資料來源的型別可以不一致

        val rdd1 = sc.makeRDD(List(1,2,3,4))
        val rdd2 
= sc.makeRDD(List(3,4,5,6)) val rdd7 = sc.makeRDD(List("3","4","5","6")) // 交集 : 【3,4】 val rdd3: RDD[Int] = rdd1.intersection(rdd2) //val rdd8 = rdd1.intersection(rdd7) println(rdd3.collect().mkString(",")) // 並集 : 【1,2,3,4,3,4,5,6】 val rdd4: RDD[Int] = rdd1.union(rdd2) println(rdd4.collect().mkString(
",")) // 差集 : 【1,2】 val rdd5: RDD[Int] = rdd1.subtract(rdd2) println(rdd5.collect().mkString(",")) // 拉鍊 : 【1-3,2-4,3-5,4-6】 val rdd6: RDD[(Int, Int)] = rdd1.zip(rdd2) val rdd8 = rdd1.zip(rdd7) println(rdd6.collect().mkString(",")) sc.stop() }
做自己的太陽,成為別人的光!