spark windows單機安裝,intellij、eclipse開發
阿新 • • 發佈:2019-01-22
1.首先到官網下載spark包,我下載的是spark-1.4.1-bin-hadoop2.6
2.下載hadoop Windwos的工具,下載地址為:http://download.csdn.net/detail/wangyang_software/9030945
3.配置hadoop的環境變數,重啟電腦讓環境變數生效,讓System.getenv("XXX")能獲取到,否則會報null/../winutils.exe not exists的錯誤,或者類似的錯誤。
4.在IDE中安裝外掛,intellij、eclipse連線聯網直接下載就可以,或者下載外掛,手動安裝。
5.下載scala,安裝,類似JDK,然後配置環境變數。
6.在IDE中開發,編寫程式,直接執行就OK了,執行模式要寫成local
注意:
java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
這是由於hadoop.dll 版本問題,2.4之前的和自後的需要的不一樣,修改hadoop的檔案就OK了。
java.io.IOException: Could not locateexecutable null/bin/winutils.exe in the Hadoop binaries.
缺少winutils.exe ,參照上述2.