Windows下Spark python 單機開發環境
Spark提供的pyspark可以像scala shell一樣提供互動式的開發,本文介紹在windows下單機環境下的pyspark配置,當然資料量小,任務簡單,條件有限的可以在單機上這樣做示例,資料量大任務重的還是配置linux叢集環境。
1.官網下載好的Spark包解壓至某目錄,如E:\spark-2.1.0-bin-hadoop2.6,
2.新增環境變數SPARK_HOME如下:
3.安裝findspark包,命令如下pip install findspark
4.在寫互動指令碼時,首先匯入findspark包,然後執行findspark.init(),這兩行寫在前邊
5.測試例子,簡單測試,讀入資料,輸出第一條資料,中間異常由於是單機環境,還沒有配置hadoop叢集環境,可以忽略:
6.後續可以使用Mllib,參考官網的例子進行開發學習。
相關推薦
Windows下Spark python 單機開發環境
Spark提供的pyspark可以像scala shell一樣提供互動式的開發,本文介紹在windows下單機環境下的pyspark配置,當然資料量小,任務簡單,條件有限的可以在單機上這樣做示例,資料量大任務重的還是配置linux叢集環境。 1.官網下載好
Windows下配置Objective-C開發環境
hello rtc linker ces objc 安裝 指定 lighting 如果 一、IDE的安裝(Code::Blocks) 我們選用Code::Blocks作為IDE,它的安裝包可以從網上各處下載下來,對版本無特別要求。筆者使用的是16.10的版本(鏈接: htt
2018.10月,搭建windows下的React Native開發環境
我是根據react native中文網教程https://reactnative.cn/docs/getting-started.html進行搭建 react native必須安裝的依賴有:Node、React Native 命令列工具、Python2 以及 JDK 和 Android St
Ubuntu 16.04下Spark安裝與開發環境搭建
https://blog.csdn.net/lengconglin/article/details/77847623 一、Spark執行環境 Spark是Scala寫的,執行在JVM上,所以執行環境Java7+,如果使用Python
windows下搭建nginx+php開發環境
windows下搭建nginx+php開發環境 1.前言 windows下大多我們都是下載使用整合環境,但是本地已經存在一個整合環境,但不適合專案的需求。因此準備再自己搭建一個環境。 2.準備 工具: 下載 nginx1.14.0(版本根據自己需要下載,本教程使用1.
windows 下 安裝python以及scrapy 環境
Scrapy入門教程 地址:https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html 1---安裝scrapy: 使用pip命令 pip install scrapy 驗證安裝:cmd輸入scra
windows下yacc和lex開發環境配置(Parser Generator篇)
1.下載安裝 Parser Generator是Windows下YACC和LEX的實現,是由英國Bumble-Bee Software公司開發. 下載地址http://www.bumblebeesoftware.com/downloads.htm. 安裝軟體之後,設定系統環境變數path,在path
Windows下的Python安裝與環境變量的配置
pan 命令 p s 雙擊 targe 點擊 color exe path Windows下的Python安裝與環境變量的配置 第一步:python下載: Python安裝包下載地址:http://www.python.org/ 第二步
Windows下的Python安裝與環境變數的配置
Windows下的Python安裝與環境變數的配置 第一步:python下載: Python安裝包下載地址:http://www.python.org/ 第二步:python安裝: 雙擊下載
在windows下搭建hadoop+eclipse開發環境
1.去官網下載hadoop-eclipse-plugin-2.7.3.jar(與你Hadoop版本一致) 2.把jar包匯入在eclipse安裝路徑的plugins中  
Objective C 學習心得 (一):--Windows下搭建objective C開發環境
最近打算針對iPhone、iPod touch和iPad開發一些應用,所以,需要開始學習Objective C(蘋果推出的類似C語言的開發語言)。由於蘋果的自我封閉的產業鏈發展模式(從晶片、機器、開發語言、終端產品、服務)的限制,要想開發針對蘋果iPhone等產品
Windows下搭建react-native開發環境
最近公司沒有什麼事情,所以決定研究一下react-native.react-native是Facebook研發的一種用於移動端研發hybrid app 的技術(研究的不深,目前只知道這個作用),那麼對於react-native的環境搭建卻是有些複雜.那麼對於剛剛完成環境搭建的
開發環境-Windows下搭建JAVA Web開發環境(含Tomcat+MySQL)-過程記錄
一、新建雲伺服器 (請注意,文中連結均在“http”中“h”後和“www”第一個“w”後多加一“ ”) 1、在"teng xun 雲",新建雲伺服器:Windows Server 2012 R2 標準版 64位中文版 2、登入雲伺服器:h ttps://w
windows搭建eclipse +python+django開發環境
搭建這個環境需要以下幾步(連結失效請自行去官網下載): 1.首先下載最新的jdk,並配置好環境變數,jdk下載連結:http://www.oracle.com/technetwork/java/jav
windows下QT+SQL server開發環境配置注意事項
踩過無數坑之後,終於將環境配置成功,現將注意事項記錄下來,網上能找到的一般資訊略過。 1、qt環境中確保已經安裝連結相關驅動庫。 qt安裝路徑中,C:\Qt\Qt5.8.0\5.8\mingw53_32\plugins\sqldrivers,存在相應的dll。 2、確保
在windows下建立Android的開發環境
Google釋出了基於手機的Android平臺,早就想試一下。 1. 從網上先下載Android SDK ,下載下來的實際上是一個安裝工具android-sdk_r04-windows,真正的SDK和 Platform開發包還沒有下載。將上述工具解壓縮到一個目錄,如C:/a
windows下搭建hadoop+eclipse開發環境
我的環境:windows8+hadoop1.1.2+eclipse4.3(linux為centerOS6.4) 實現步驟 下載eclipse、hadoop,提取hadoop中的hadoop-ecli
Windows下搭載React Native開發環境
備註:結合網路上多篇文章和自己遇到的環境整理而成。一、安裝Node.js 兩種形式 1、通過Windows包管理工具chocolatey來安裝(需要安裝chocolatey客戶端和powershell V3+方式)--比較繁瑣ChocolateyChoco
win10下搭建python,django開發環境及實戰
1. 安裝好python和django環境,另外再用pip安裝MySQL-python,命令pip install MySQL-python,注意python要安裝32位的,即使是64位作業系統,其中的坑不多說,具體原因不詳2.安裝mysql資料庫3. 安裝vc支援VCFor
Ubuntu下建立python虛擬開發環境
1.升級python包管理工具pip[非必須] pip install --upgrade pip2.python虛擬環境安裝 sudo apt-get install python-virtualenv sudo pip install virtualenvwrapper