1. 程式人生 > >spark windows單機安裝,intellij、eclipse開發

spark windows單機安裝,intellij、eclipse開發

1.首先到官網下載spark包,我下載的是spark-1.4.1-bin-hadoop2.6

2.下載hadoop Windwos的工具,下載地址為:http://download.csdn.net/detail/wangyang_software/9030945

3.配置hadoop的環境變數,重啟電腦讓環境變數生效,讓System.getenv("XXX")能獲取到,否則會報null/../winutils.exe not exists的錯誤,或者類似的錯誤。

4.在IDE中安裝外掛,intellij、eclipse連線聯網直接下載就可以,或者下載外掛,手動安裝。

5.下載scala,安裝,類似JDK,然後配置環境變數。

6.在IDE中開發,編寫程式,直接執行就OK了,執行模式要寫成local

注意:

java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V

這是由於hadoop.dll 版本問題,2.4之前的和自後的需要的不一樣,修改hadoop的檔案就OK了。

java.io.IOException: Could not locateexecutable null/bin/winutils.exe in the Hadoop binaries.

缺少winutils.exe ,參照上述2.