1. 程式人生 > >Win10--Spark2.3 + hadoop3.1 本地環境搭建

Win10--Spark2.3 + hadoop3.1 本地環境搭建

在使用docker 未果的情況下,無奈採用本地環境搭建。中間有部分坑( 此篇 為64位的環境, 如果是32位 則無需更換bin內容)

準備工作

進行配置

  • 將 下載好的Hadoop 和 Spark進行解壓,我進行了重新命名 如圖1.1
    這裡寫圖片描述

    圖1.1
  • 將 準備工作中 第一項下載的包進行解壓。並進行更換 解壓的hadoop3.1.0下的/bin目錄裡的檔案(如圖1.2)
    這裡寫圖片描述

    圖1.2
  • 進行配置我們需要的環境變數(如圖1.3)
    這裡寫圖片描述

    圖1.3

配置內容如下:
這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

測試

我們進行輸入spark-shell 可以看到已經可以正常。並且沒有報錯內容

這裡寫圖片描述