在大量資料中對一些欄位進行關聯。

舉例

ipTable：需要進行關聯的幾千條ip資料(70k) 
hist：歷史資料（百億級別）

直接join將會對所有資料進行shuffle，需要大量的io操作，相同的key會在同一個partition中進行處理，任務的併發度也收到了限制。

使用broadcast將會把小表分發到每臺執行節點上，因此，關聯操作都在本地完成，基本就取消了shuffle的過程，執行效率大幅度提高。

樣本資料(2000w)效能測試對比

小表沒有進行broadcast

進行了broadcast,可以看到連shuffle過程都省略了

實現程式碼(spark1.5)

<code class="hljs r has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;">//讀取ip表
val df = <span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">...</span>

//如果資料小於設定的廣播大小則將該表廣播,預設10M
df.cache.count

//登錄檔
df.registerTempTable(<span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">"ipTable"</span>)

//關聯
sqlContext.sql(<span class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: border-box;">"select * from (select * from ipTable)a join (select * from hist)b on a.ip = b.ip"</span>)

......
</code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li><li style="box-sizing: border-box; padding: 0px 5px;">7</li><li style="box-sizing: border-box; padding: 0px 5px;">8</li><li style="box-sizing: border-box; padding: 0px 5px;">9</li><li style="box-sizing: border-box; padding: 0px 5px;">10</li><li style="box-sizing: border-box; padding: 0px 5px;">11</li><li style="box-sizing: border-box; padding: 0px 5px;">12</li><li style="box-sizing: border-box; padding: 0px 5px;">13</li><li style="box-sizing: border-box; padding: 0px 5px;">14</li></ul>

設定表廣播的閾值，如果有需求且記憶體足夠，可以將該值提高，預設10M

spark.sql.autoBroadcastJoinThreshold