Spark處理框架搭建【VM15 + CentOS7 + Hadoop2.7.5 + Scala2.12.7 + Spark2.3.1】
阿新 • • 發佈:2018-12-12
一、目的
二、準備工作
三、安裝過程
1 解除安裝Linux自帶的jdk
檢視系統自帶的jdk
[[email protected] ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
查詢系統自帶的java檔案,根據不同的系統版本,輸入rpm -qa | grep jdk
或者rpm -qa | grep java
[[email protected] ~]# rpm -qa | grep jdk
java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64
java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64
java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64
copy-jdk-configs-3.3-2.el7.noarch
刪除noarch檔案以外的其他檔案,輸入rpm -e --nodeps 需要解除安裝的安裝檔名
[[email protected] ~]# rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64
[[email protected] ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64
[[email protected] ~]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64
[[email protected] ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64
檢視是否已經刪除完畢
[[email protected] ~]# java -version
bash: /usr/bin/java: 沒有那個檔案或目錄
2 下載並安裝最新版本的jdk
jdk下載可分成兩種情況: A.在虛擬機器中藉助自帶的火狐瀏覽器,將jdk檔案下載到虛擬機器中。 預設下載到Linux系統的下載檔案中。 B.將jdk直接下載到本地windows系統,然後通過SecureCRT等工具匯入虛擬機器中,本次試驗採用該法。
[[email protected],master ~]# rz
rz waiting to receive.
Starting zmodem transfer. Press Ctrl+C to cancel.
Transferring jdk-8u181-linux-x64.tar.gz...
100% 181295 KB 36259 KB/sec 00:00:05 0 Errors
由於本機直接root使用者登入,通過rz命令後jdk載入到/root/Home路徑。
將idk安裝包轉移到系統檔案中,可以通過madir命令,也可以直接定位到安裝檔案然後手動轉移並修改jdk路徑,本次試驗首先在opt檔案下新建一個java檔案,然後將jdk放入/opt/java路徑下。
通過tar -zxvf jdk-8u181-linux-x64.tar.gz
命令解壓安裝包。
[[email protected] ~]# cd /opt/java
[[email protected] java]# tar -zxvf jdk-8u181-linux-x64.tar.gz
3 環境變數設定
通過vi /etc/profile
或者vim /etc/profile
進入profile檔案的編輯狀態(vim相關編輯命令請自行百度),也可直接在Linux系統下直接進入/etc/profile路徑進行操作。最後,將以下內容複製到profile檔案的最後。
#java environment
export JAVA_HOME=/opt/java/jdk1.8.0_181
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
輸入source /etc/profile
使得剛才的修改生效,同時java -version
再次檢視java是否已經完成安裝。
[[email protected] ~]# source /etc/profile
[[email protected] ~]# java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)