1. 程式人生 > >spark教程3 (cdh5.12 新增 spark2.2 服務)

spark教程3 (cdh5.12 新增 spark2.2 服務)

  • 1.下載安裝包
    ssh到任一臺叢集中的節點
cd /opt/cloudera/csd
wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera2.jar

cd /opt/cloudera/parcel-repo
wget http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel
wget http://archive.cloudera.com/spark2/parcels/2.2
.0.cloudera2/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha1 mv SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha1 SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha wget http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/manifest.json
  • 2.重啟cloudera-scm-server和所有的cloudera-scm-agent,建議使用awk命令生成批量啟動和停止cdh的指令碼,省得那麼多機器一個個去重啟agent,重啟之後進入包管理介面
    這裡寫圖片描述

  • 3.找到spark2的包進行分配
    這裡寫圖片描述

  • 4.在已分配裡面找到spark2並激活
    這裡寫圖片描述

4.啟用好後,在新增服務裡面已經可以看到spark2服務了
這裡寫圖片描述