溫馨提示：要看高清無碼套圖，請使用手機打開並單擊圖片放大查看。

1.問題描述

Spark的HistoryServer能正常查看之前的歷史作業日誌，但新提交的作業在執行完成後未能在HistoryServer頁面查看。

2.問題復現

1.分別使用root和ec2-user用戶執行作業

2.通過sparkHistory Server可以正常查看到所有歷史作業

3.將/user/spark/applicationHistory目錄的所屬組修改為supergroup，再次執行作業

sudo –u hdfs hadoop dfs –chown spark:supergroup /user/spark/applicationHistroy

作業執行完成

HDFS上正常記錄了spark作業日誌，但作業所屬group為supergroup

sparkHistoryServer報異常，沒有權限訪問歷史job目錄

4.在History Server未查看到剛執行完成的007作業

3.問題原因

由於/user/spark/applicationHistory目錄的所屬組為supergroup，導致所有用戶作業的目錄均為supergroup組，之前能正常查看的歷史作業由於目錄的所屬組任為spark。

4.解決方法

將/user/spark/applicationHistory目錄及該目錄下的子目錄所屬組修改為spark

sudo –u hdfs hadoop dfs –chgrp –R spark /user/spark/applicationHistory

修改後所有歷史作業均可正常查看

醉酒鞭名馬，少年多浮誇！ 嶺南浣溪沙，嘔吐酒肆下！摯友不肯放，數據玩的花！
溫馨提示：要看高清無碼套圖，請使用手機打開並單擊圖片放大查看。

0017-Spark的HistoryServer不能查看到所有歷史作業分析