Spark利用Broadcast實現Join避免Shuffle操作
阿新 • • 發佈:2019-08-17
在Spark中, 諸如ReduceByKey,GroupByKey等操作會觸發Shuffle, 影響效能。
本文提供了一種利用廣播Broadcast, 實現了join操作, 避免了Shuffle。
正常的join操作
val sc = new SparkContext(new SparkConf().setMaster("local").setAppName("test")) // data1為較小資料, data2為較大資料 val data1 = sc.parallelize(Array(("1", "aa"),("2", "bb"),("3", "cc")),2) val data2 = sc.parallelize(Array(("1", "spark", "hadoop"),("2", "ElasticSearch", "Flume"),("3", "Kafka", "Redis"),("4", "Flink", "HDFS"),("5", "Yarn", "Linux"),("6", "Windows", "MySQL")),3) .map(x=>(x._1, x)) data1.join(data2).foreach(println(_))
本文利用的方法
val data1Broadcast = sc.broadcast(data1.collectAsMap())
data2.map(x => {
(x, data1Broadcast.value.getOrElse(x._1, ""))
}).filter(_._2!="").foreach(println(_))
其中, Broadcast會將資料分發至每個節點的記憶體中, 本方法只適合小資料,