Win10--Spark2.3 + hadoop3.1 本地環境搭建
在使用docker 未果的情況下,無奈採用本地環境搭建。中間有部分坑( 此篇 為64位的環境, 如果是32位 則無需更換bin內容)
準備工作
進行配置
將 下載好的Hadoop 和 Spark進行解壓,我進行了重新命名 如圖1.1
圖1.1 將 準備工作中 第一項下載的包進行解壓。並進行更換 解壓的hadoop3.1.0下的
/bin
目錄裡的檔案(如圖1.2)
圖1.2 進行配置我們需要的環境變數(如圖1.3)
圖1.3
配置內容如下:
測試
我們進行輸入spark-shell
可以看到已經可以正常。並且沒有報錯內容
相關推薦
Win10--Spark2.3 + hadoop3.1 本地環境搭建
準備工作 進行配置 測試 在使用docker 未果的情況下,無奈採用本地環境搭建。中間有部分坑( 此篇 為64位的環境, 如果是32位 則無需更換bin內容) 準備工作
VMware12.1 +Centos6.3(64位)+XShell6環境搭建
工具:VMware12.1+Centos6.3-64bit+XShell6 使用以上工具來搭建hadoop叢集,但在剛開始安裝好cent虛擬機器,意外發現ping不能使用,網路連線異常,故經過了一番倒騰,最終成功解決,將這踩坑路記載下來,以備檢視。 首先使用ifconfig命令檢視網絡卡
[RK3399][Android7.1] 除錯筆記 --- sdk本地環境搭建
Platform: rk3399 OS: Android 7.1 Kernel: v4.4.83 拿到官方sdk之後需要在本地gerrit伺服器上搭建環境。 manifest.xml過濾: cat manifest.xml | sed 's;r
CentOS 7下Hbase1.3.1分散式環境搭建
平臺環境:Java1.8.0_144、Hadoop2.7.4、Zookeeper3.4.9 簡介:HBase – Hadoop Database,是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統
Python3-Django-1.開發環境搭建
file 響應 令行 ide star local bsp pla 創建 官網 https://www.djangoproject.com/ 安裝 http://www.runoob.com/django/django-install.html 創建項目 方式一
WebDriver自動化測試工具(1)---C#環境搭建
quit 打開百度 asp.net ace chrome color 根路徑 var image Webdriver是一個前端自動化測試工具,可以模擬用戶點擊鏈接,填寫表單,點擊按鈕等操作,下面介紹其使用 一.下載WebdriverC#類庫以及對應瀏覽器驅動 http:
jumpserver-0.3.2 堡壘機環境搭建(圖文詳解)
其他 install yum mage -128 req isa 解決 qq密碼 下載安裝包:https://github.com/jumpserver/jumpserver.git 解壓 三、執行快速安裝腳本 cd /opt/jumpserver/install pip
Android開發之旅1:環境搭建及HelloWorld
lan 及其 其它 ply 新項目 bsp 驗證 for 對話框 ——工欲善其事必先利其器 引言 本系列適合0基礎的人員,因為我就是從0開始的,此系列記錄我步入Android開發的一些經驗分享,望與君共勉!作為Android隊伍中的一個新人的
接口自動化測試Python(1)_環境搭建配置
下載安裝配置 nload 使用 環境變量 django lan 測試 img 只需要 Windows下 一. Python下載安裝配置環境變量 1. Python 下載地址:https://www.python.org/downloads/ 2. 安裝Python你只需要下
elasticsearch 源碼本地環境搭建
步驟 netflix 信息 本地 變量 sea not 生效 使用 本篇文章網上有跡可尋,但是每個人在搭建的時候會遇到各種問題,與本地環境有關,下面寫下我自己的搭建過程以及遇到的問題: 1、資源準備 ElasicSearch版本:6.0.0: https://gith
【unp】unix網絡編程卷1-->環境搭建(ubuntu14.04)
func class pos span net 下載 size_t tran make 學習unp網絡編程,樹上的例子均存在#include "unp.h",故需要對環境進行配置。 1. 到資源頁下載unpv13e 2. 解壓並將unpv13e 移動到相應的文件夾下
Python學習第1天 - 環境搭建
OS 是否 png 環境搭建 clas .org class 設置 完成 1. 若是WINDOWS系統,首先在CMD中查看是否有安裝python, 若是有,則會顯示相應的版本信息 2. 如果沒有,則先下載python, 對應的網址是:https://www.python.
CC2B本地環境搭建步驟及部署問題解決
not main con available pin 項目源碼 lib 添加mysql 拷貝 由於最近的項目是之前沒接觸過的netbeans+glassfish,記錄一下最近在工作中搭建本地環境的步驟及遇到的一些問題解決方法: 1.配置java jdk 此過程中遇到一個問題
python+selenium(1)--環境搭建
重新 一個 輸入 3.x 成了 ade pytho 復習 安裝 做自動化也很長時間了,這段時間項目初期沒什麽事情幹就在復習以前做過的seleniu+python的知識,現在想做一個簡單的記錄,也對自己學習有一個驅動作用吧。 以上。 一、python下載地址: https
ant design後臺模板-1.前端環境搭建
學習了一段時間的React,試著搭建一個後臺管理的模板,算是這一段時間的學習總結,前端將採用create-react-app作為腳手架,引用react-router進行路由處理,後臺將採用spring、spring-mvc、MyBatis搭建一個簡單的後臺管理系統架子,初步實現使用者、角
[RK3399][Android7.1]開發環境搭建
最後還是安裝了雙系統,在Ubuntu16.04下編譯的,以下的解決方法依然後效;/(ㄒoㄒ)/~~ ######################黃金分割線########################### Virtual Machine:Vmware 14, Linux:Ubuntu16
Hadoop2.7.3單機偽分散式環境搭建
Hadoop2.7.3單機偽分散式環境搭建 作者:家輝,日期:2018-07-10 CSDN部落格: http://blog.csdn.net/gobitan 說明:Hadoop測試環境經常搭建,這裡也做成一個模板並記錄下來。 基礎環境
1 STM32CubeMX環境搭建
1、安裝包下載 由於STM32CubeMX軟體是基於JAVA環境執行的,所以需要安裝JRE才能使用,JRE、STM32CubeMX工具和庫可以到官網下載。TM32CubeMX要求JRE最低版本是1.7.0_45,如果你電腦已安裝JRE版本大於1.7.0_45,則可以不用再下載安裝。 1.
Android成長記(1)-----android環境搭建與adb shell 命令
整理一下學習android一步一步存下來的自己總結或是從網上摘抄的比較不錯的文件,電腦要上交了,最捨不得的就是自己積累的這麼點東西了,所以決定釋出到黎梓小站,以供大家一起學習以及自己日後忘記了也有地方可找。 1. htt
【從0學Python】1.開發環境搭建
從0學Python 最近準備學習python了。主要是考慮到python在深度學習和爬蟲方面的應用較廣,未來發展潛力較大。而且python與java相比,語法簡潔靈活,開發效率比較高。正所謂“人生苦短,我選python!”。 學習的過程打算用部落格記錄下來,這樣能給自己堅持下去的動力,也能養成一個愛總結的