在Windows中安裝PySpark環境

安裝Python

可以選擇安裝官方版本的Python，或是Anaconda，對應的地址如下。

• 下載地址
  Python：https://www.python.org/
  Anaconda： https://www.anaconda.com/download/#windows
  MiniConda：https://docs.conda.io/en/latest/miniconda.html

安裝Java執行環境

安裝Java執行環境

• 下載地址
  線上安裝包： https://www.java.com/en/download/
  離線安裝包：https://www.java.com/zh-CN/download/windows_offline.jsp

下載Spark和winutils工具

由於Hadoop開發是針對類Unix系統的，所以在Windows平臺中沒有原生的Hadoop安裝包，但可以通過winutils工具作為替代。

• spark下載地址: http://spark.apache.org/downloads.html
• winutils下載地址: https://github.com/steveloughran/winutils

解壓spark，將winutils拷貝到解壓目錄的bin目錄下，如下動態圖所示。

配置環境變數

• 新增環境變數 HADOOP_HOME
  變數值是安裝Spark的目錄，如 E:\spark\spark-3.1.2-bin-hadoop2.7\

• 新增環境變數SPARK_HOME
  變數值是安裝Spark的目錄，如 E:\spark\spark-3.1.2-bin-hadoop2.7\

• 將Spark安裝目錄新增環境變數中
  將Spark安裝目錄bin資料夾新增到path變數中 E:\spark\spark-3.1.2-bin-hadoop2.7\bin

配置的過程如下動態圖所示。

使用spark-shell

安裝配置完畢後，對Spark Shell使用，以驗證成功的安裝。

• 開啟spark-shell2.cmd，輸入以下的scala命令。
  開啟一個Power Shell，然後輸入命令：spark-shell2.cmd

scala> 1 + 1
scala> println("Hello World!")
var myVar : String = "hello"
 

操作如下動態圖所示。

使用pyspark-shell

• 開啟 pyspark2.cmd，輸入以下Python命令。
  開啟一個Power Shell，然後輸入命令：pyspark2.cmd

from datetime import datetime, date
import pandas as pd
from pyspark.sql import Row

df = spark.createDataFrame([
    Row(a=1, b=2., c='string1', d=date(2000, 1, 1), e=datetime(2000, 1, 1, 12, 0)),
    Row(a=2, b=3., c='string2', d=date(2000, 2, 1), e=datetime(2000, 1, 2, 12, 0)),
    Row(a=4, b=5., c='string3', d=date(2000, 3, 1), e=datetime(2000, 1, 3, 12, 0))
])
df.printSchema()

操作如下動態圖所示。

使用sparkR-shell

• 開啟 sparkR2.cmd，輸入以下R語言命令。
  開啟一個Power Shell，然後輸入命令：sparkR2.cmd

emp.data <- data.frame(
   emp_id = c (1:5), 
   emp_name = c("Rick","Dan","Michelle","Ryan","Gary"),
   salary = c(623.3,515.2,611.0,729.0,843.25), 
   start_date = as.Date(c("2012-01-01", "2013-09-23", "2014-11-15", "2014-05-11","2015-03-27")),
   stringsAsFactors = FALSE
)
df <- createDataFrame(emp.data)

操作如下動態圖所示。