1. 程式人生 > >關於在windows平臺下使用ipython執行pyspark的問題

關於在windows平臺下使用ipython執行pyspark的問題

最近讀了一本書<machine learning with spark> ,在第三章中講到用增強的互動式ipython執行pyspark,也就是用如下命令:

                                                    > IPYTHON=1 IPYTHON_OPTS="--pylab" ./bin/pyspark

本人在windows平臺下的shell中跑spark,上述命令執行失敗。查閱了多個文獻,大都是講在linux平臺下的ipython配置來執行 pyspark。在 spark的conf目錄下配置也不起作用,這下犯難了!!!

假設您已經安裝了 python及相關的庫,下面是解決辦法:

在spark配置檔案中,%SPARK_HOME%/bin目錄下有pypspark, pyspark.cmd, pyspark2.cmd三個檔案,第一個是.sh檔案(linux),第二、三個windows的指令碼檔案,其中pyspark2.cmd是主要執行檔案,其內容如下:

-------------------------------------------------------------------------------------------------------------------------------------------------------------

set SPARK_HOME=%~dp0..

call %SPARK_HOME%\bin\load-spark-env.cmd
set _SPARK_CMD_USAGE=Usage: bin\pyspark.cmd [options]

rem Figure out which Python to use.
if "x%PYSPARK_DRIVER_PYTHON%"=="x" (
set PYSPARK_DRIVER_PYTHON=python


if not [%PYSPARK_PYTHON%] == [] set PYSPARK_DRIVER_PYTHON=%PYSPARK_PYTHON%
)

set PYTHONPATH=%SPARK_HOME%\python;%PYTHONPATH%
set PYTHONPATH=%SPARK_HOME%\python\lib\py4j-0.8.2.1-src.zip;%PYTHONPATH%

set OLD_PYTHONSTARTUP=%PYTHONSTARTUP%
set PYTHONSTARTUP=%SPARK_HOME%\python\pyspark\shell.py

call %SPARK_HOME%\bin\spark-submit2.cmd pyspark-shell-main --name "PySparkShell" %*

-------------------------------------------------------------------------------------------------------------------------------------------------------------------

PYSPARK_DRIVER_PYTHON引數是指用什麼來執行pyspark,只需要將紅色部分改為

  PYSPARK_DRIVER_PYTHON=ipython

儲存後,在執行pyspark,就可以直接用ipython執行pyspark了。


相關推薦

關於在windows平臺下使用ipython執行pyspark的問題

最近讀了一本書<machine learning with spark> ,在第三章中講到用增強的互動式ipython執行pyspark,也就是用如下命令:                                                    

Windows臺下python2和3的兼容問題解決

重啟 pair cap 文件 環境變量 code 命令操作 tro 現在 很多朋友都安裝了python2和3,因為用些庫例如scapy,不是scrapy,python3下面都是錯,那麽怎麽讓python2和3共存呢。 像一般的程序員,達到如下效果 Windows平臺下

Windows臺下PHP7添加Sqlserver擴展

php blog 現在 僅支持 spa reg microsoft 連接 ase 1、7.0.x 7.0.x的擴展下載地址: Microsoft Drivers for PHP for SQL Server https://www.microsoft.com/en-u

Windows臺下Flutter安裝,配置,初運行。

完成 plugin alpha reac window oct 點擊 and 真機調試 Flutter是什麽?他是谷歌根據Dark語言開源的跨平臺開發依賴。和目前比較火的Reactive Native一樣,一套代碼能夠實現兩個不同平臺的App。那麽為什麽要介紹Flutt

Windows臺下Elasticsearch同步MySql數據庫

expires pat 插件 date response mob cal ssa mysql 我是用ElasticSearch的版本是elasticsearch-6.3.1 mysql的數據是5.7的,其實這個關系不大。 logstash版本是6.3.1 Elastic

windows臺下mysql 8.0 免安裝版配置步驟

免安裝版 utf director my.ini 服務 新建 執行 pro name mysql 8.0 免安裝版配置步驟 新建配置文件 my.ini,內容如下 [mysqld] # set basedir to your installation path basedi

Windows 臺下 LiteIDE 的安裝和使用

for ins 選項 工具欄 ble http 執行 參考資料 測試 1. 安裝 Go 語言並設置環境變量參考博客《Windows 平臺下 Go 語言的安裝和環境變量設置》。2. MinGW 的下載和安裝Windows 下的 Go 調試還需

Windows臺下的Redis-Sentinel叢集配置

一、環境介紹 Microsoft Windows 10 企業版 Redis-x64-3.2.100 jedis 2.9.0 Sentinel是一個管理多個redis例項的工具,它可以實現對redis的監控、通知、自動故障轉移。sentinel不斷的檢測red

windows臺下MySQl的安裝、破解和使用

#1、下載:MySQL Community Server 5.7.16   http://dev.mysql.com/downloads/mysql/ #2、解壓   如果想要讓MySQL安裝在指定目錄,那麼就將解壓後的資料夾移動到指定目錄,如:C:\mysql-5.7.16-winx64 #3、新增環境

兩臺電腦來簡單搭建Windows臺下的MySQL叢集

MySQL叢集支援多臺電腦,本文搭建的MySQL叢集以兩臺機子為例,其中一臺(IP為192.168.24.33)部署管理節點、資料節點和SQL節點,另一臺(IP為192.168.24.82)部署資料節點和SQL節點。    實際應用中,不要將管理節點跟資料節點部署到

Windows臺下kafka+ flink環境的搭建以及簡單使用

準備工作: 1.安裝jdk環境 http://www.oracle.com/technetwork/java/javase/downloads/index.html   2.下載kafka的程式安裝包,並解壓 http://kafka.apache.org/downl

windows臺下libcurl庫編譯步驟

關鍵詞:Windows,curl,ssl, visual c++ 2005 準備工作 a. 下載zlib zlib可以使得HTTP請求支援gzip壓縮,其地址如下: 官網:http://zlib.net/ 下載地址:http://zlib.net/zlib-1.2.8.tar.

windows下啟動nginx閃退---(Windows臺下80埠被System佔用解決辦法)

前言: 在專案中用到nginx,啟動時閃退,檢視錯誤日誌,給出的錯誤如下: nginx: [emerg] bind() to 0.0.0.0:80 failed (10013: An attempt was made to access  a socket in a way forb

Windows臺下Anaconda3安裝記錄

一 軟體下載 百度anaconda,可以找到anaconda官網 點選Download 分別顯示了Windows、mac、Linux下的安裝檔案下載連結,由於我使用Windows平臺進行演示,在網頁中點選Windows下的64-Bit Graphical I

windows 臺下 xlnt 結合visual studio 2017 用c++操作excel

安裝cmake Windows下載安裝xlnt git clone https://github.com/tfussell/xlnt.git cd xlnt mkdir build # git clone剛才下載的xlnt原始碼位置 F:\CODE\CPPC

Windows 臺下 Go 語言的安裝和環境變數設定

1. Go 語言 SDK 安裝包下載和安裝 最新穩定版 1.5.3 安裝包 go1.5.3.windows-amd64.msi下載地址 https://golang.org/dl/,大小約 69 MB(作者上傳了一份該版本安裝包到 CSDN 資源,嫌國外網速慢可以去下載:h

Windows臺下Makefile學習筆記 一

                作者:朱金燦        決心學習Makefile,一方面是為了解決編譯開原始碼時需要跨編譯平臺的問題(發現一些開原始碼已經在使用VS2010開發,但我還沒安裝VS2010,我想在VS2008下編譯這些程式碼);另一方面原始碼在伺服器端編譯的話,使用IDE的方式編譯還是不太方

基礎教程:8、圖解Windows臺下Intellij IDEA安裝與配置

8.1 下載與安裝 (1)開啟官方下載地址 http://www.jetbrains.com/idea/download • 旗艦版(Ultimate) • 社群版(Community) 其中,旗艦版是收費的,社群版則是免費的。兩者的區別就是旗艦版比社群版的功能更為齊全! (2)單

Windows臺下MySQL的安裝說明

1 安裝前準備 1.1 從MYSQL官網下載MYSQL Server包: 下載MySQL安裝包檔案:http://dev.mysql.com/downloads/mysql/ 比如我需要選擇32位系統的MYSQL安裝包: 推薦選擇ZIP Arch

關於yarn臺下mapreduce執行出現的虛擬記憶體溢位問題

關於yarn平臺下mapreduce執行出現的虛擬記憶體溢位問題 2014年09月05日 ⁄ 綜合 ⁄ 共 756字 ⁄ 字號 小 中 大 ⁄ 評論關閉 最近在測試一個統計型別的mapreduce 應用的job新功能時候,reducetask在執行中直接丟擲了下面的異常: Contain