Spark為此提供了兩種共享變數，一種是Broadcast Variable（廣播變數），另一種是Accumulator（累加變數）。Broadcast Variable會將使用到的變數，僅僅為每個節點拷貝一份，更大的用處是優化效能，減少網路傳輸以及記憶體消耗。Accumulator則可以讓多個task共同操作一份變數，主要可以進行累加操作。

Broadcast Variable

Spark提供的Broadcast Variable，是隻讀的。並且在每個節點上只會有一份副本，而不會為每個task都拷貝一份副本。因此其最大作用，就是減少變數到各個節點的網路傳輸消耗，以及在各個節點上的記憶體消耗。此外，spark自己內部也使用了高效的廣播演算法來減少網路消耗。

可以通過呼叫SparkContext的broadcast()方法，來針對某個變數建立廣播變數。然後在運算元的函式內，使用到廣播變數時，每個節點只會拷貝一份副本了。每個節點可以使用廣播變數的value()方法獲取值。

廣播變數，是隻讀的

List<Integer> numberList = Arrays.asList(1, 2, 3, 4, 5);

JavaRDD<Integer> numbers = sc.parallelize(numberList);

final int factor = 3;
//建立共享變數，就是呼叫SparkContext的broadcast()方法,返回結果是Broadcast<T>型別
final Broadcast<Integer> factorBroadcast = sc.broadcast(factor);

JavaRDD<Integer> multipleNumbers = numbers.map(new Function<Integer, Integer>() {

		private static final long serialVersionUID = 814321134135988210L;

		@Override
		public Integer call(Integer v1) throws Exception {
			// 使用共享變數時，呼叫其value()方法，即可獲取其內部封裝的值
			return v1 * factorBroadcast.getValue();
		}
});
 

val numberList = Array(1, 2, 3, 4, 5)

val numbers = sc.parallelize(numberList, 1)

val factorBroadcast = sc.broadcast(3)

val multipleNumbers = numbers.map(num => num * factorBroadcast.value)

Accumulator

Spark提供的Accumulator，主要用於多個節點對一個變數進行共享性的操作。Accumulator只提供了累加的功能。但是確給我們提供了多個task對一個變數並行操作的功能。但是task只能對Accumulator進行累加操作，不能讀取它的值。只有Driver程式可以讀取Accumulator的值。

List<Integer> numberList = Arrays.asList(1, 2, 3, 4, 5);

//建立Accumulator變數需要呼叫SparkContext的accumulator()方法
final Accumulator<Integer> sum = sc.accumulator(0);

JavaRDD<Integer> numbers = sc.parallelize(numberList);

numbers.foreach(new VoidFunction<Integer>() {

		private static final long serialVersionUID = -389089708611947093L;

		@Override
		public void call(Integer t) throws Exception {
			// 然後在函式內部，就可以對Accumulator變數，呼叫add()方法，累加值
			sum.add(t);
		}
	});

//在driver程式中，可以呼叫Accumulator的value()方法，獲取其值
System.out.println(sum.value());

val numberList = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)

val sum = sc.accumulator(0)

val numbers = sc.parallelize(numberList, 1)
    
 numbers.foreach{num => sum += num }