溫馨提示：要看高清無碼套圖，請使用手機開啟並單擊圖片放大檢視。

1.問題描述

Spark的HistoryServer能正常檢視之前的歷史作業日誌，但新提交的作業在執行完成後未能在HistoryServer頁面檢視。

2.問題復現

1.分別使用root和ec2-user使用者執行作業

2.通過sparkHistory Server可以正常檢視到所有歷史作業

3.將/user/spark/applicationHistory目錄的所屬組修改為supergroup，再次執行作業

sudo –u hdfs hadoop dfs –chown spark:supergroup /user/spark/applicationHistroy

作業執行完成

HDFS上正常記錄了spark作業日誌，但作業所屬group為supergroup

sparkHistoryServer報異常，沒有許可權訪問歷史job目錄

4.在History Server未檢視到剛執行完成的007作業

3.問題原因

由於/user/spark/applicationHistory目錄的所屬組為supergroup，導致所有使用者作業的目錄均為supergroup組，之前能正常檢視的歷史作業由於目錄的所屬組任為spark。

4.解決方法

將/user/spark/applicationHistory目錄及該目錄下的子目錄所屬組修改為spark

sudo –u hdfs hadoop dfs –chgrp –R spark /user/spark/applicationHistory

修改後所有歷史作業均可正常檢視

醉酒鞭名馬，少年多浮誇！ 嶺南浣溪沙，嘔吐酒肆下！摯友不肯放，資料玩的花！
溫馨提示：要看高清無碼套圖，請使用手機開啟並單擊圖片放大檢視。