1. 程式人生 > >Win10 下安裝Spark2.3,hadoop2.7 教程

Win10 下安裝Spark2.3,hadoop2.7 教程

0:安裝材料:

(1) jdk-8u171-windows-x64 (2) scala-2.11.8 (3) spark-2.3.1-bin-hadoop2.7.rar (4) hadoop-2.7.6.rar

1:下載連結

2:安裝過程

(1) 安裝jdk環境 (1.1) 雙擊jdk-8u171-windows-x64,預設安裝。 (1.2) 開啟cmd或者PowerShell視窗,輸入java –version。如果出現下面內容就說明安裝成功。如果沒有,則配置jdk8的環境變數。 在這裡插入圖片描述

(2) 安裝spark-2.3.1-bin-hadoop2.7 (2.1 )將spark-2.3.1-bin-hadoop2.7.rar解壓至C盤。如下圖。 在這裡插入圖片描述

(2.2) 這裡spark-2.3.1-bin-hadoop2.7可以解壓至任何一個盤任何一個目錄,並不要求一定是C盤。但是安裝spark-2.3.1-bin-hadoop2.7的目錄名稱不能有空格,否則會出現錯誤。

(2.3) 配置spark-2.3.1-bin-hadoop2.7系統環境變數 (2.3.1) 在系統變數Path裡面加入C:\spark-2.3.1-bin-hadoop2.7\bin 在這裡插入圖片描述 在這裡插入圖片描述

(3) 安裝scala-2.11.8 雙擊scala-2.11.8圖示,選擇路徑預設安裝。開啟PowerShell視窗輸入scala出現如下視窗。 在這裡插入圖片描述

(4) 安裝hadoop-2.7.6.

(4.1) 將hadoop-2.7.6.rar解壓至C盤或者其他盤的其他目錄。這裡演示解壓至C盤根目錄。 (4.2) 配置hadoop的環境變數。 (4.2.1) 首先系統環境裡面新建環境變數HADOOP_HOME,並設定為hadoop解壓目錄。 在這裡插入圖片描述 (4.2.2) 在path目錄裡面加入hadoop的bin目錄。如下圖 在這裡插入圖片描述

3:參考網址