1. 程式人生 > >cdh5-spark-submit程式日誌檢視最後指定行數

cdh5-spark-submit程式日誌檢視最後指定行數

問題描述:通過以下命令把自己的jar程式:cache_amis.jar提交到spark叢集:client模式命令如下:

BASEDIR = /datafs

PROVICE=beijing

nohup /opt/cloudera/parcels/CDH/lib/spark/bin/spark-submit --class StartCBPS8  --master yarn --deploy-mode client --jars $BASEDIR/dom4j-1.3.jar,$BASEDIR/scala-actors-2.10.6.jar,$BASEDIR/ojdbc5.jar,$BASEDIR/jedis-2.7.3.jar  --executor-memory 1g --executor-cores 4 ../bin/cache_chinalife_amis-0.0.1.jar $PROVICE > ../logs/cache-cbps8_$PROVICE-start.out 2>&1 &

該程式是一個spark-streaming+kafak的程式!那麼怎麼樣才能看到裡面的列印資訊日誌的最新10000行呢?


解決方法如下:

自己的程式可以在CDH的manager中的sparkUI中看到作業。當需要實時日誌時,直接看日誌就行了。但是發現只能看預設行數的日誌!

如下圖:可以修改主機想要的行數日誌:start=-10000代表最後1000bytes的日誌。

這樣就不會導致日誌太大而使得瀏覽器卡死啦!!!!






具體連結參考:

http://cdh1:19888/jobhistory/logs/cdh5:8041/container_1497435240138_1638_01_000001/container_1497435240138_1638_01_000001/root/stderr/?start=-20000


修改:start後面的引數即可!!