Spark的引數優化
阿新 • • 發佈：2018-11-03
Spark程式優化所需要關注的幾個關鍵點——最主要的是資料序列化和記憶體優化
spark 設定相關引數
問題1：reduce task數目不合適解決方法：需根據實際情況調節預設配置，調整方式是修改引數spark.default.parallelism。通常，reduce數目設定為core數目的2到3倍。數量太大，造成很多小任務，增加啟動任務的開銷；數目太少，任務執行緩慢。
問題2：shuffle磁碟IO時間長
解決方法：設定spark.local.dir為多個磁碟，並設定磁碟為IO速度快的磁碟，通過增加IO來優化shuffle效能；
問題3：map|reduce數量大，造成shuffle小檔案數目多
解決方法：預設情況下shuffle檔案數目為map tasks * reduce tasks. 通過設定spark.shuffle.consolidateFiles為true，來合併shuffle中間檔案，此時檔案數為reduce tasks數目；
問題4：序列化時間長、結果大
解決方法：Spark預設使.用JDK.自帶的ObjectOutputStream，這種方式產生的結果大、CPU處理時間長，可以通過設定spark.serializer為org.apache.spark.serializer.KryoSerializer。另外如果結果已經很大，可以使用廣播變數；
問題5：單條記錄消耗大
解決方法：使用mapPartition替換map，mapPartition是對每個Partition進行計算，而map是對partition中的每條記錄進行計算；
問題6：collect輸出大量結果時速度慢
解決方式：collect原始碼中是把所有的結果以一個Array的方式放在記憶體中，可以直接輸出到分散式?檔案系統，然後檢視檔案系統中的內容；
問題7：任務執行速度傾斜
解決方式：如果是資料傾斜，一般是partition key取的不好，可以考慮其它的並行處理方式 ，並在中間加上aggregation操作；如果是Worker傾斜，例如在某些worker上的executor執行緩慢，可以通過設定spark.speculation=true 把那些持續慢的節點去掉；
問題8：通過多步驟的RDD操作後有很多空任務或者小任務產生
解決方式：使用coalesce或repartition去減少RDD中partition數量；
問題9：Spark Streaming吞吐量不高
解決方式：可以設定spark.streaming.concurrentJobs
schedule排程相關引數
spark.cores.maxCPU計算資源的數量,spark.cores.max 這個引數決定了在Standalone和Mesos模式下，一個Spark應用程式所能申請的CPU Core的數量
這個引數需要注意的是，這個引數對Yarn模式不起作用，YARN模式下，資源由Yarn統一排程管理
CPU資源的數量由另外兩個直接配置Executor的數量和每個Executor中core數量的引數決定。
spark.scheduler.mode
單個Spark應用內部排程的時候使用FIFO模式還是Fair模式
spark.speculation
spark.speculation(推測機制開關)以及spark.speculation.interval(),spark.speculation.quantile, spark.speculation.multiplier等引數調整Speculation行為的具體細節
spark.executor.memory xxG 設定記憶體
spark.executor.cores x 設定每個excutor核數
spark.cores.max xx 設定最大核使用數量
若如出現各種timeout，executor lost ,task lost
spark.network.timeout 根據情況改成300(5min)或更高。,預設為 120(120s),配置所有網路傳輸的延時，如果沒有主動設定以下引數，預設覆蓋其屬性
轉載：https://blog.csdn.net/weixin_42553458/article/details/80857540