2. 程式人生 > >spark2.3安裝以及遇到的一些坑

spark2.3安裝以及遇到的一些坑

阿新 • • 發佈：2019-02-08

最近公司的基於CDH的Hadoop大資料計算平臺需要遷移，由於時間過長，原來的搭建步驟以及踩過的坑都忘得差不多了，現在為了將來能夠有個依據，特將本次重新搭建平臺所踩的坑給記錄下來。

    使用的軟體及版本：

        CDH-5.14.2-1.cdh5.14.2.p0.3

        jdk1.8.0_171

        Spark2.3

    下面記錄的是一些上面那篇檔案中沒有談到的一些問題，也就是我所碰到的另外的一些坑的處理辦法。

    1.新增Cloudera資料來源

    在安裝的第一步更新源的過程中，需要選擇適合自己linux版本的cloudear.list，如我的ubuntu是xenial，因而我選擇的是http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list，並儲存在目錄/etc/apt/sources.list.d中，在執行系統更新命令"apt update && apt upgrade"之前，需要把archive.key取下來，我的對應的是http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/archive.key，並通過命令"apt-key add archive.key"將其key新增到系統中。

2.手動安裝JDK1.8

如果只想使用CDH當前自帶的Spark1.6，那麼可以不用安裝JDK1.8，安裝JDK1.7即可，如果需要使用Spark2.3（後面有如何安裝），則需要安裝JDK1.8，否則後面想使用的時候再來修改叢集中的JDK，那會碰到很多莫名的問題，別問我為什麼知道。

安裝JDK1.8最好是從Oracle官方下載，然後解壓到/usr/lib/jvm目錄中，並在/etc/profile中增加上JAVA_HOME變數並把bin目錄加到PATH中：
  1. JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171
  2. PATH=$JAVA_HOME/bin:$PATH
  3. export PATH JAVA_HOME
    為了防止其它問題的發生，最好建立如下的軟連結：

  1. ln -s /usr/lib/jvm/jdk1.8.0_171 /etc/alternatives/java
  2. ln -s /etc/alternatives/java /usr/bin/java
  3. ln -s /usr/bin/java /bin/java

    3.修改SCM的模式為生產模式

    修改scm的資料庫為外部資料庫，這樣做的目的是不使用其自帶的資料庫，以避免SCM控制檯提示非生產環境，也可以避免以後將資料從自帶的資料庫遷移到外面，當然資料也確實會更加安全。

    相關參考：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_installing_configuring_dbs.html#cmig_topic_5_2

    1）準備好外部可用的資料庫：
  1. create database scm default character set utf8;
  2. grant all privileges on scm.* to 'scm'@'%' by 'scm';
  3. flush privileges;
    2）然後執行資料庫初使化（在執行資料庫初使用指令碼之前，需要先安裝後JDK）：    
/usr/share/cmf/schema/scm_prepare_database.sh mysql -h db_server scm scm scm

    命令的使用方法，可直接輸入scm_prepare_database.sh不帶引數，會有提示。

    4.安裝mysql的jdbc驅動
    在上面的提到的參考文章中的安裝過程的第5步啟動cloudera manager過後，可能無法訪問7180埠，此時檢視cloudera的日誌檔案，其存放於/var/log/cloudera-scm-server目錄下，會發現“JDBC Driver class not found: com.mysql.jdbc.Driver” 這樣的錯誤，這是沒有找到對應的mysql jdbc connector，解決方案是通過如下命令安裝mysql的java驅動：
apt install libmysql-java
    然後安裝的搜尋出來的libmysql-java解決的問題。

    5.準備spark2.3的相關的包

    將spark2.3的paralles放到cloudera對應的目錄下，以便於cdh可以正確發現該包，並可以執行安裝。為了簡化，我使用以下命令處理：    

  1. cd /opt/cloudera/csd
  2. wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.3.0.cloudera2.jar
  3. cd /opt/cloudera/parcel-repo
  4. wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-xenial.parcel
  5. wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-xenial.parcel.sha1
  6. wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/manifest.json
  7. mv SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-xenial.parcel.sha1 SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-xenial.parcel.sha

    以上命令在每臺伺服器上都要執行，並且一定要在CM的管理控制檯Hosts->Parcels中找到Spark2，並點選Distribute，分發完成後，再點選Active，然後才能夠在CM中增加該服務。

    6.重新安裝Cloudera服務可能會碰到的一些問題

    在某些情況下，叢集可能需要重灌，有甚至於整個Cloudera服務都需要刪除過後再重灌，但是重灌並不是我們想像中的那麼簡單，它甚至於第一次安裝都更有可能碰到莫名的問題，以下是我所碰到一些莫名問題的記錄。

    1）啟動scm服務時找不到JAVA_HOME
    操作步驟：
    安裝cloudera manager service後執行啟動scm服務的命令：    
service cloudera-scm-server start
    在scm server的日誌檔案中報找不到JAVA_HOME的錯誤"Error: JAVA_HOME is not set and Java could not be found"，但是系統確實是設定了JAVA_HOME，通過echo $JAVA_HOME也可以看到
    解決辦法：
    通過修改/etc/default/cloudera-scm-server該檔案，在其中增加上JAVA_HOME，如下：    
export JAVA_HOME="/usr/lib/jvm/jdk1.8.0_171"

    再次啟動服務就正常了。

    2）在scm的web控制檯安裝新的叢集時，填入應用如hive等外部資料庫的連結時，點測試連結提示無法連結。
    這種情況會有兩個錯誤：
    a）沒有安裝mysql把jdbc驅動，這種錯誤可以通過在每臺伺服器上執行以下安裝命令即可解決問題：    
apt install libmysql-java
    b）明明有安裝jdk，也有配置JAVA_HOME，但是卻提示找不到java
    通過檢視日誌，agent會在/usr/lib/jvm目錄下遍歷一些jdk的目錄，如下：
  1. 2018-05-24 03:16:55,668 INFO CommandPusher:com.cloudera.cmf.service.AbstractDbConnectionTestCommand: ++ ls -rvd '/usr/lib/jvm/java-openjdk*'
  2. + for candidate_regex in '${JAVA_HOME_CANDIDATES[@]}'
  3. ++ ls -rvd '/usr/lib/jvm/jre-openjdk*'
  4. + for candidate_regex in '${JAVA_HOME_CANDIDATES[@]}'
  5. ++ ls -rvd '/usr/lib/jvm/java-1.7.0-openjdk*'
  6. + for candidate_regex in '${JAVA_HOME_CANDIDATES[@]}'
  7. ++ ls -rvd '/usr/lib/jvm/java-7-openjdk*'
  8. + for candidate_regex in '${JAVA_HOME_CANDIDATES[@]}'
  9. ++ ls -rvd '/usr/lib/jvm/java-1.8.0-openjdk*'
  10. + for candidate_regex in '${JAVA_HOME_CANDIDATES[@]}'
  11. ++ ls -rvd /usr/lib/jvm/java-8-openjdk
  12. + for candidate in '`ls -rvd ${candidate_regex}* 2>/dev/null`'
  13. + '[' -e /usr/lib/jvm/java-8-openjdk/bin/java ']'
  14. + export JAVA_HOME=/usr/lib/jvm/java-8-openjdk
  15. + JAVA_HOME=/usr/lib/jvm/java-8-openjdk
    從上面的日誌可以看出，它會嘗試讀取一些JDK的安裝目錄，但我安裝的是jdk1.8.0_171，並不在它檢查的列表裡面，此時解決的辦法也簡單，在/usr/lib/jvm下面，給其檢查列表中的JDK增加一個軟連結即可，每臺伺服器執行以下命令：
  1. cd /usr/lib/jvm
  2. ln -s jdk1.8.0_171 java-8-openjdk
    3）在web控制檯檢視伺服器狀態時，提示有些伺服器的狀態是“Host is in bad health”
    通過檢視該臺伺服器scm agent的日誌，發現其中有報如下錯誤：
MainThread agent        ERROR    Error, CM server guid updated, expected 348656e4-51b5-4d77-b056-181ff1f70c54, received 78e112e3-4c6f-46d0-b141-bec649b737c5
    解決方法如下：
    a）停止agent服務    
service service-scm-agent stop
    b）刪除原來的cm_guid（不同版本的scm，這個檔案的位置可能不一樣，可以通過檢視命令的找出來：find / -name cm_guid）    
rm /var/lib/cloudera-scm-agent/cm_guid
    c）啟動agent服務    
service service-scm-agent start

    7.其它一些伺服器準備的指令碼   

    1)建立外部資料庫(SQL指令碼)
  1. create database scm default character set utf8;
  2. create database hive default character set utf8;
  3. create database hue default character set utf8;
  4. create database amon default character set utf8;
  5. create database rman default character set utf8;
  6. create database oozie_oozie_server default character set utf8;
  7. create database navms default character set utf8;
  8. grant all privileges on scm.* to 'scm'@'%' identified by 'scm';
  9. grant all privileges on hive.* to 'hive'@'%' identified by 'hive';
  10. grant all privileges on hue.* to 'hue'@'%' identified by 'hue';
  11. grant all privileges on amon.* to 'amon'@'%' identified by 'amon';
  12. grant all privileges on rman.* to 'rman'@'%' identified by 'rman';
  13. grant all privileges on oozie_oozie_server.* to 'oozie'@'%' identified by 'oozie';
  14. grant all privileges on navms.* to 'navms'@'%' identified by 'navms';
    2)在每臺伺服器上執行硬碟格式化和掛載，這裡的硬碟是/dev/xvdb，如果是其它位置根據情況調整
  1. mkfs.ext4 /dev/xvdb
  2. mkdir /data
  3. mount /dev/xvdb /data
  4. echo "/dev/xvdb /data ext4 defaults 0 0" >> /etc/fstab
    3)設定伺服器的名稱(每臺伺服器執行命令帶不同的引數，這裡可以不用執行，預設伺服器的名稱就類似如下的)
  1. hostnamectl set-hostname ip-172-31-16-71
  2. hostnamectl set-hostname ip-172-31-20-195
  3. hostnamectl set-hostname ip-172-31-31-194
  4. hostnamectl set-hostname ip-172-31-19-103
  5. hostnamectl set-hostname ip-172-31-28-125
  6. hostnamectl set-hostname ip-172-31-24-50
  7. hostnamectl set-hostname ip-172-31-24-63
  8. hostnamectl set-hostname ip-172-31-31-193
  9. hostnamectl set-hostname ip-172-31-22-39
  10. hostnamectl set-hostname ip-172-31-31-171
    4)增加控制swap的引數
  1. echo "vm.swappiness=0" >> /etc/sysctl.conf
  2. sysctl -p
    5)增加hosts配置（伺服器的IP和名稱情況實際情況調整），在每臺伺服器上面都執行
  1. echo "" >> /etc/hosts
  2. echo "172.31.16.71 ip-172-31-16-71 bigdata-1" >> /etc/hosts
  3. echo "172.31.20.195 ip-172-31-20-195 bigdata-2" >> /etc/hosts
  4. echo "172.31.31.94 ip-172-31-31-194 bigdata-3" >> /etc/hosts
  5. echo "172.31.19.103 ip-172-31-19-103 bigdata-4" >> /etc/hosts
  6. echo "172.31.28.125 ip-172-31-28-125 bigdata-5" >> /etc/hosts
  7. echo "172.31.24.50 ip-172-31-24-50 bigdata-6" >> /etc/hosts
  8. echo "172.31.24.63 ip-172-31-24-63 bigdata-7" >> /etc/hosts
  9. echo "172.31.31.193 ip-172-31-31-193 bigdata-8" >> /etc/hosts
  10. echo "172.31.22.39 ip-172-31-22-39 bigdata-9" >> /etc/hosts
  11. echo "172.31.31.171 ip-172-31-31-171 bigdata-10" >> /etc/hosts

相關推薦

spark2.3安裝以及遇到的一些坑

最近公司的基於CDH的Hadoop大資料計算平臺需要遷移，由於時間過長，原來的搭建步驟以及踩過的坑都忘得差不多了，現在為了將來能夠有個依據，特將本次重新搭建平臺所踩的坑給記錄下來。    使用的軟體及版本：        CDH-5.14.2-1.cdh5.14.2.p0.3

下載安裝mysql的一些坑

auth request client 數據庫 style -s 時也 tail height 在mysql下載安裝的過程中會有一些坑，另外navicat連接mysql數據庫時也存在一定的坑，總結如下： 1、計算機中丟失某個dll文件 這個問題好解決，下載個文件就搞定

AIX--zabbix agnet的編譯安裝以及遇到的“坑”

AIX ZABBIX AGENT 前文再續，書接上一回。 上一篇講的是AIX 6.1操作系統的安裝，可是胡哥的任務還沒完成呀，老板需要的是zabbix agent的編譯安裝。既然需要編譯，那怎麽能少gcc這個編譯利器呢？工欲善其事必先利其器，咱們先來安裝gcc吧。（可從http://www.bul

VM ware 安裝時候的一些坑和解決辦法

1.解決VMware Workstation 不可恢復錯誤: (vcpu-0)  開機進入bios，開啟inter virtual technology   enable     2.進入之後輸入密碼不顯示的，但是是有輸入的   &nb

安裝pytorch的一些坑

問題一：numpy版本較低 進入官網 https://pytorch.org/get-started/locally/ 選擇電腦對應的配置 比如我就是：     然後輸入命令： pip3 install https://downl

11g Grid Control安裝過程的一些“坑”

Oracle提供的圖形化管理工具目前主要有三個版本： EMDC：Enterprise Manager Database Control EMGC：Enterprise Manager Grid Control EMCC：Enterprise Manager

CocoaPods的安裝以及遇到的坑

以前在新浪微博上總結過一篇關於CocoaPods的文章（主要是自己看的），昨天整電腦，在安裝CocoaPods的過程中，又遇到了一些坑，正好趕上今天比較閒，就總結一下。 一.CocoaPods是什麼？ CocoaPods是一個用Ruby寫的、負責管理iOS專案中第三方開源庫的工具，CocoaPods能讓

關於 Mac OS 本地安裝 Mysql 的一些坑

前言 為了專案需要，在自己的 Mac Os 上裝了 Mysql，結果各種報錯，啟動不了、登入不了、無法修改密碼、圖形化連不上等等。這兒做下記錄，方便自己和其他人查閱。 安裝常規步驟 訪問MySQL的官網 http://www.mysql.com/dow

oracle安裝遇到的一些坑

安裝今天在公司將oracle資料匯入到本地oracle出現的一系列問題，這裡做一個記載，主要的問題記載一下去oracle官方網站下載11g或者12g,安裝比較簡單，這個不用說oracle12g建立使用者的語法例子create user officer identified

zookeeper安裝以及遇到的一些坑

tick wget 忽略 har 默認安裝 更新 datanode 遇到 x64 最近項目中用到了storm，然後storm中用到了zookeeper，然後今天抽空整理一下zookeeper的安裝使用，原來後期再慢慢學習。 本篇文檔，操作部分是摘自其他博客，裏邊的問題分析

同時集成百度地圖、定位以及導航遇到的一些坑

so文件 成了 自己 sel ear 模擬 images 謝謝 function 項目用到的地圖功能有點多，同時集成了地圖、定位以及導航這幾個功能。 每個單獨使用，都很順利，但合在一起用會有問題。 我每次集成百度地圖，都會在http://lbsyun.baidu.com/s

Linux中 cmake-3.x 編譯安裝以及man page添加

pypi --help edit 互聯 gui 一個 源代碼 beta alt 首先回顧一下 cmake-2.x 的編譯安裝。 ================ cmake-2.x編譯安裝說明 ================編譯安裝的命令： ./bootstrap --

美團在Redis上踩過的一些坑-3.redis內存占用飆升(轉載)

car shu idl 運維人員 監控 images 我想 依然 服務器 一、現象： redis-cluster某個分片內存飆升，明顯比其他分片高很多，而且持續增長。並且主從的內存使用量並不一致。 二、分析可能原因： 1. redis-clus

微信的一些坑2016.3記；2017.12 更新

空格 項目 是否 微信開發者 路徑配置 發現 end sad 一個 微信經常都更新，如果可以的話，還是應該以微信開發者平臺上面的文檔為準，好多東西都是一時一個樣子；好比分享這個操作2017.12的時候辦的一個活動，發行分享總是失敗，原理是剛好改了需要80端口發布的才可以，s

Spark學習之路 （二）Spark2.3 HA集群的分布式安裝

serve html 元數據 不安裝 rec ive cut 再次 apps 一、下載Spark安裝包 1、從官網下載 http://spark.apache.org/downloads.html 2、從微軟的鏡像站下載 http://mirrors.hust.

Python學習之路（3）——Python安裝以及環境變量的操作

all 頭部 http plain 雙擊 load 編譯 源碼 borde 安裝Python windows： 1 2 3 4 5 6 7 1、下載安裝包 https://www.python.org/downloads/ 2、安裝

使用U盤安裝CentOS 7遇到的一些坑

安裝工具 In u盤安裝 AI 下載 ftw 奔騰 之前 簡單的 辦公室剛好有一臺淘汰報廢的臺式電腦，奔騰雙核，雖然在2018年，將它用於辦公配置已經比較低了，但用來做一臺簡單的服務器，應該比樹莓派之類的強很多，於是我決定更換掉它的硬盤、加上4G內存，安裝上centos7用

安裝mysql zip版——遇到的一些坑

min har sql 設置環境變量 init spa 復制 文件夾 -- 一直以來都習慣了使用MySQL安裝文件(.exe)，今天下載了一個.zip版本的MySQL，安裝過程中遇到了一些問題，如下： 1.在MySQL官網上（http://dev.mysql

zookeeper集群查看狀態時報錯Error contacting service. It is probably not running的一些坑以及解決辦法

暫時 關機重啟 ron emc img 坑爹 .com 輸出日誌 off 最近在搭建mq集群時候需要用到,zookeeper,可是啟動的時候顯示成功了,查看狀態的時候卻報錯了: 碰到這個問題也是研究好好半天才解決,這裏就總結出一個快速解決辦法! 首先,必須看日誌: 報錯

小程序canvas使用，及一些坑，以及自己的一些小總結

開發 背景圖 height java gda 數據 利用 let 宋體 自己做了一個小程序，主要用於給頭像加圖標的那種，和qq似的，主要用canvas做的， 第一回用，掉了很多坑，所以今天系統的總結一下自己所做的，如果大家有不理解的地方，歡迎提問 canvas可以用來畫一