1. 程式人生 > >dr.elephant 環境搭建及使用詳解

dr.elephant 環境搭建及使用詳解

Dr.elephant是一款對Hadoop和Spark任務進行效能監控和調優的工具,它由LinkedIn的團隊於2016年開源,開源之前已經在公司執行使用2年。

目前使用Dr.elephant的公司國內的有Didi,國外的有airbnb、inmobi、hulu、FourSquare和PayPal等等。 
專案地址:https://github.com/linkedin/dr-elephant

筆者所在公司每天有上萬作業提交yarn執行,如果能提高作業效能,這對提升叢集資源利用率,減少硬體投入成本有很大意義。

編譯時注意以下:

    1、dr-elephant/project/Dependencies.scala 修改

            lazy val jacksonVersion = "2.5.4" 

            "com.fasterxml.jackson.module" %% "jackson-module-scala" % "2.5.3",