2. 程式人生 > >cloudera manager 升級到jdk1.8

cloudera manager 升級到jdk1.8

阿新 • • 發佈：2019-01-12

CDH5.11自帶的是spark1.6，在把spark升級到2.2之後，新增服務，執行服務 Spark 2 上的命令 部署客戶端配置階段報錯。

“客戶端配置 (id=2) 已使用 1 退出,而預期值為 0

檢視日誌：

JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera/
Using -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/spark2_on_yarn_spar1957cecc-SPARK2_YARN_HISTORY_SERVER-e5a7ed032e536edfeee0ba8f_pid17633.hprof -XX:OnOutOfMemoryError=/opt/cm-5.11.0/lib64/cmf/service/common/killparent.sh as CSD_JAVA_OPTS
Using /opt/cm-5.11.0/run/cloudera-scm-agent/process/260-spark2_on_yarn-SPARK2_YARN_HISTORY_SERVER as conf dir
Using scripts/control.sh as process script
CONF_DIR=/opt/cm-5.11.0/run/cloudera-scm-agent/process/260-spark2_on_yarn-SPARK2_YARN_HISTORY_SERVER
CMF_CONF_DIR=/opt/cm-5.11.0/etc/cloudera-scm-agent
Tue Dec 26 10:05:54 CST 2017: Running Spark2 CSD control script…
Tue Dec 26 10:05:54 CST 2017: Detected CDH_VERSION of [5]
Java version 1.8 is required for Spark 2.2.
Tue Dec 26 10:05:55 CST 2017
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera/
Using -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/spark2_on_yarn_spar1957cecc-SPARK2_YARN_HISTORY_SERVER-e5a7ed032e536edfeee0ba8f_pid17704.hprof -XX:OnOutOfMemoryError=/opt/cm-5.11.0/lib64/cmf/service/common/killparent.sh as CSD_JAVA_OPTS
Using /opt/cm-5.11.0/run/cloudera-scm-agent/process/260-spark2_on_yarn-SPARK2_YARN_HISTORY_SERVER as conf dir
Using scripts/control.sh as process script
CONF_DIR=/opt/cm-5.11.0/run/cloudera-scm-agent/process/260-spark2_on_yarn-SPARK2_YARN_HISTORY_SERVER
CMF_CONF_DIR=/opt/cm-5.11.0/etc/cloudera-scm-agent
Tue Dec 26 10:05:56 CST 2017: Running Spark2 CSD control script…
Tue Dec 26 10:05:56 CST 2017: Detected CDH_VERSION of [5]
Tue Dec 26 10:05:58 CST 2017
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera/
Using -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/spark2_on_yarn_spar1957cecc-SPARK2_YARN_HISTORY_SERVER-e5a7ed032e536edfeee0ba8f_pid17775.hprof -XX:OnOutOfMemoryError=/opt/cm-5.11.0/lib64/cmf/service/common/killparent.sh as CSD_JAVA_OPTS
Using /opt/cm-5.11.0/run/cloudera-scm-agent/process/260-spark2_on_yarn-SPARK2_YARN_HISTORY_SERVER as conf dir
Using scripts/control.sh as process script
CONF_DIR=/opt/cm-5.11.0/run/cloudera-scm-agent/process/260-spark2_on_yarn-SPARK2_YARN_HISTORY_SERVER
CMF_CONF_DIR=/opt/cm-5.11.0/etc/cloudera-scm-agent
Tue Dec 26 10:05:58 CST 2017: Running Spark2 CSD control script…
Tue Dec 26 10:05:58 CST 2017: Detected CDH_VERSION of [5]
Java version 1.8 is required for Spark 2.2.
Tue Dec 26 10:06:02 CST 2017
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera/
Using -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/spark2_on_yarn_spar1957cecc-SPARK2_YARN_HISTORY_SERVER-e5a7ed032e536edfeee0ba8f_pid17846.hprof -XX:OnOutOfMemoryError=/opt/cm-5.11.0/lib64/cmf/service/common/killparent.sh as CSD_JAVA_OPTS
Using /opt/cm-5.11.0/run/cloudera-scm-agent/process/260-spark2_on_yarn-SPARK2_YARN_HISTORY_SERVER as conf dir
Using scripts/control.sh as process script
CONF_DIR=/opt/cm-5.11.0/run/cloudera-scm-agent/process/260-spark2_on_yarn-SPARK2_YARN_HISTORY_SERVER
CMF_CONF_DIR=/opt/cm-5.11.0/etc/cloudera-scm-agent
Tue Dec 26 10:06:02 CST 2017: Running Spark2 CSD control script…
Tue Dec 26 10:06:02 CST 2017: Detected CDH_VERSION of [5]
Java version 1.8 is required for Spark 2.2.

我們可以看到，spark2.2需要jdk1.8版本，而系統自帶的是jdk1.7.0_67， 看起來解決任務只是把jdk版本升級就好，於是，我把CDH叢集中的jdk都升級到了jdk1.8.0_60, 順便提一句，spark2.2 需要scala2.11以上版本。

  1. 停掉cloudera manager

  2. 停掉伺服器服務

    /opt/cm-5.11.0/etc/init.d/cloudera-scm-server stop

  3. 關閉所有客戶端服務

    /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent stop

  4. 解除安裝原本的jdk

  5. 安裝新的jdk，並配置JAVA_HOME

    vim /opt/cm-5.11.0/etc/default/cloudera-scm-server
    export JAVA_HOME=/usr/java/jdk1.8.0_60

  6. 開啟所有服務

  7. 啟動cloudera manager


在每個主機上配置java home


8. 啟動叢集

相關推薦

cloudera manager 升級到jdk1.8

CDH5.11自帶的是spark1.6，在把spark升級到2.2之後，新增服務，執行服務 Spark 2 上的命令 部署客戶端配置階段報錯。 “客戶端配置 (id=2) 已使用 1 退出,而預期值為 0 檢視日誌： JAVA_HOME=/u

Linux安裝及升級jdk1.8

jdk linux 到官網下載jdkhttp://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html解壓文件包tar -zxvf jdk-8u144-linux-x64.tar.gz 將解壓的文件移動

WAS 升級JDK1.8

因釋出的應用需要在jdk1.8版本下執行，而WAS8.5版本自帶的IBM JDK版本為1.6，需將jdk升至1.8. (請看完完整部落格後再操作，本人遇到了版本的坑) 第一種方法（適合升級IBM JDK1.7版本） 先下載was下IBM JDK1.8安裝包https://develope

win7配置jdk環境jdk1.7升級jdk1.8

又要升級版本了 。。 安裝jdk1.8版本（下載連結：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html）具體步驟。 步驟1：下載安裝jdk1.8版本，點選

Cloudera manager的服務安裝以及spark升級到2.2

apache 廣泛 5.1 cti sha topic file chgrp 擁有 一、Cloudera manager的服務安裝 包含2個： 1、 是軟件包的分發、安裝 此種方式安裝的時候。Cloudera manager會在激活這個步驟驗證軟件的版本和當前cd

Linux下JDK1.7升級1.8版本

          先下載 jdk-8u45-linux-x64.rpm 然後上傳到  /usr/local/src  去。當然其他目錄也可以。這裡是預設位置 給所有使用者新增可執行許可權 #chmod +x&n

JDK1.8升級之後的優勢在哪裡。

一、引言 　　jdk1.8出來已經一段時間了，現在1.9也已經出來了，但是很多公司（我們公司也一樣）不太願意升級到高版本的jdk，主要是有老的專案要維護，還有升級的話配套的框架也要升級，要考慮的細節事情太多。 　　前段時間去面試，問到了jdk1.8的新特性，博主答得不是很好，今天抽了一段時間

0009-如何升級Cloudera Manager和CDH

溫馨提示：要看高清無碼套圖，請使用手機開啟並單擊圖片放大檢視。 1.文件編寫目的 本文件講述如何升級Cloudera Manager和CDH，通過本文件，您將學習到以下知識： 1.如何對Cloudera Manager進行停機升級 2.如何對CDH進行停機升級 3.如何在不影響叢集作業的情

cloudera manager生產叢集升級流程

1.將rpm包和必要的依賴檔案按照目錄結構存入Linux。 下載網址：e-primary.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/  node0 中全部。

Cloudera Manager 5升級（官方翻譯整理，企業級實戰驗證）

本文件適合Cloudera Manager 5的所有版本的升級，而且使用tarballs進行升級，Tarballs包含Cloudera Manager Server和Cloudera ManagerAgent。絕大多數的場景下，升級Cloudera Manager是可能不需要

slz-JDK1.8的環境變量配置

ava evel .com 成功 clas -s font 文件 中新 JDK(Java Development Kit) 是 Java 語言的軟件開發工具包(SDK)。 1.在計算機右鍵點擊屬性 2.打開下載的綠色版的jdk1.8,打開lib所在目錄並復制所在位置

tomcat8+jdk1.8.0_131環境搭建與添加用戶(win764位)

tomcattomcat8下載地址：http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-8/v8.5.14/bin/apache-tomcat-8.5.14-windows-x64.zip jdk1.8.0下載地址：http://download.

手動安裝cloudera manager 5.x（tar包方式）詳解

text res 三種 href none bin -i min devel 官方共給出了3中安裝方式：第一種方法必須要求所有機器都能連網，由於最近各種國外的網站被墻的厲害，我嘗試了幾次各種超時錯誤，巨耽誤時間不說，一旦失敗，重裝非常痛苦。第二種方法下載很多包。第三種方法對

Centos7下安裝 JDK1.8

class bce hostname etc 下載 nod tar.gz 執行 profile 　　最近看了一篇技術文章， 用 nginx+tomcat+redis+centos 實現 session 共享等功能，覺得很有用，就跟著文章在 Centos7 的環境下搭建了幾個

LinkedList源碼淺析（jdk1.8）

指定元素 首部 urn erl ransient 操作 創建 rac rst LinkedList由雙向鏈表實現的集合，因此可以從頭或尾部雙向循環遍歷。 LinkedList的操作都是對雙向鏈表的操作，理解雙向鏈表的數據結構就很容易理解LinkedList的實現。 雙向鏈表

Vector 源碼分析 jdk1.8

ensure 訪問 class 遍歷 pre 元素 www tro col Vector簡介 Vector 是矢量隊列，它是JDK1.0版本添加的類。繼承於AbstractList，實現了List, RandomAccess, Cloneable這些接口。Vector 繼承

Java基礎----jdk1.8 反射實驗

clas 接口 fin 好的 spring insert 結束 getmethod lsi （寫在最前：還沒入門的搬磚工的一本正經的胡說八道） 引言： 最近做到的項目中，需要給對接方提供一個公共接口，根據對方傳入的XML文件的rootelement分發調用接口，最簡單的使

jdk1.8.0環境變量設置

dos 系統 home open 屬性 -1 pow span 系統變量 1.jdk安裝完畢 2.進入計算機-系統屬性-高級系統設置 3.新建系統變量JAVA_HOME； 變量名：JAVA_HOME； 變量值：D:\Program Files (x86)\Jav

linux jdk1.8安裝

exp -i jdk1.8 查看 是否 path 環境變量 修改 grep 1.查看是否已經安裝jdk版本 命令： rpm -qa |grep jdk 2.如果沒有安裝，則將jdk1.8 的rpm文件，通過xftp上傳到linux 服務器,切換到rpm路徑，執行安裝命

Ubuntu上安裝與配置JDK1.8

http 官網 mil sans 16px profile usr wrap $path Ubuntu上安裝與配置JDK1.8 一、下載 下載JDK，由於是Ubuntu。 所以去官網下載tar.gz格式的就可以(ubuntu使用瀏覽器下載網速比較