spark教程3 (cdh5.12 新增 spark2.2 服務)
阿新 • • 發佈:2019-01-06
- 1.下載安裝包
ssh到任一臺叢集中的節點
cd /opt/cloudera/csd
wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera2.jar
cd /opt/cloudera/parcel-repo
wget http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel
wget http://archive.cloudera.com/spark2/parcels/2.2 .0.cloudera2/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha1
mv SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha1 SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha
wget http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/manifest.json
2.重啟cloudera-scm-server和所有的cloudera-scm-agent,建議使用awk命令生成批量啟動和停止cdh的指令碼,省得那麼多機器一個個去重啟agent,重啟之後進入包管理介面
3.找到spark2的包進行分配
4.在已分配裡面找到spark2並激活
4.啟用好後,在新增服務裡面已經可以看到spark2服務了
- 5.可參考我之前的部落格一樣的方式新增spark2服務
連結:cdh 5.12 新增自帶spark服務