問題場景：在使用spark sql 增加where條件過濾時，會出現列印很多的被過濾掉的記錄（幾十萬條），導致跑spark sql 特別慢！

var df2 = sqc.sql("SELECT * FROM T_COMMISIONRATEDEF WHERE T_INSURANCETYPE = '630' ORDER BY T_INSURANCETYPE DESC " )

執行時，列印截圖：

解決方法：

設定spark 的日誌級別，不列印過濾INFO資訊

1)程式碼中使用呢代理設定：關鍵參考程式碼如下

import org.apache.log4j.Level

import org.apache.log4j.Level

Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
Logger.getLogger("org.apache.hadoop").setLevel(Level.ERROR)
Logger.getLogger("org.apache.zookeeper").setLevel(Level.ERROR)

程式碼截圖：