spark 執行日誌分析

1.問題：一直在執行的spark 執行時，發現數據應該690多萬，而只有610多萬，控制檯日誌正常。異常出現異常時，在控制檯中日誌正常。怎樣查詢這個錯誤異常日誌

2.處理：由於資料量比較大計算一次需要30多分鐘，因此在執行採用二分進行原因分析，最後確定是9.17日的資料，然後在開發環境進行，發現 java.lang.ArrayIndexOutOfBoundsException: 6 最後跟蹤是訂單號為空導致插入mysql 資料時解析日常。調整後系統正常。這個問題最好在執行環境能夠分析。但是不知道日誌在哪裡？分析了一天也沒有找到日誌，後臺突發奇想，查詢Except 異常關鍵字。spark-1.3.1-bin-hadoop2.6/work 目錄下，find . | xargs grep -ri "Exception"  確定日誌位置，./app-20150930194859-0035/2/stderr:java.lang.ArrayIndexOutOfBoundsException: 6 ，這樣以後出現類似異常就可以採用類似方式查詢分析原因。