Spark+R安裝(linux平臺)
阿新 • • 發佈：2018-11-08
一.R語言安裝
http://blog.csdn.net/duxu24/article/details/53611510
https://blog.csdn.net/CSDNzyq/article/details/52734788
ps:
二.Spark安裝 spark的安裝主要分三步 1.java jdk的安裝 2.hadoop的安裝 3.scala的安裝 最重要的是配置好相關路徑,基本就不會有太大問題,不同裝置(平臺版本,甚至硬體問題)大多可以搜尋解決 注意備份好profile檔案,防止錯誤配置將系統弄崩潰無法恢復,最好可以備份系統 https://blog.csdn.net/jarth/article/details/53098844 https://www.jianshu.com/p/a0c38dc46b89
ps: 1.下載包安裝,注意版本 2.最好安裝hadoop 3.缺啥補啥,直接搜尋異常,找到需要的包 4.注意教程步驟,不要漏,看仔細 5.出現異常,首先根據異常提示修改,再搜尋異常,多看幾篇解決方案,或者換關鍵字,實在搜尋無果才考慮更換版本 6.不同教程建議下載的版本不一,最好以一個為準,其他作為參考,否則容易亂
根據以上教程可能會出現的異常
親測:安裝完整版spark不會出現異常
1.缺少slf4j包 logger 記錄日誌(原因:不安裝hadoop的情況下會出現,若已安裝應該不會有問題)
關於linux平臺 ubuntu漢化比較完整,適合中國人使用,但不建議使用麒麟版本,容易出現各種奇怪問題,另外ubuntu圖形化豐富, 不適合跑在虛擬機器上(可能虛擬機器優化的好應該沒問題,但目前本人嘗試過網上許多方法還是無法流暢使用) 其他平臺如redhat, deplin 漢化比較麻煩,漢化可能一不小心會搞崩系統,但優點是圖形化簡單,適合安裝在虛擬機器上 使用linux還是系統的學習從基礎學起比較好,否則會被坑到沒脾氣
ps:
0.記得先更改為國內的映象源
1.最好下載壓縮包解壓縮安裝 2.直接apt安裝容易出現依賴包問題,若出現,記下依賴包逐個安裝,由於版本問題個別依賴包可能無法安裝(沒有合適的安裝包),但不一定影響使用(apt安裝適用於無需配置路徑的應用) 3.修改配置檔案前記得備份原始檔案,加字尾名copy二.Spark安裝 spark的安裝主要分三步 1.java jdk的安裝 2.hadoop的安裝 3.scala的安裝 最重要的是配置好相關路徑,基本就不會有太大問題,不同裝置(平臺版本,甚至硬體問題)大多可以搜尋解決 注意備份好profile檔案,防止錯誤配置將系統弄崩潰無法恢復,最好可以備份系統 https://blog.csdn.net/jarth/article/details/53098844 https://www.jianshu.com/p/a0c38dc46b89
ps: 1.下載包安裝,注意版本 2.最好安裝hadoop 3.缺啥補啥,直接搜尋異常,找到需要的包 4.注意教程步驟,不要漏,看仔細 5.出現異常,首先根據異常提示修改,再搜尋異常,多看幾篇解決方案,或者換關鍵字,實在搜尋無果才考慮更換版本 6.不同教程建議下載的版本不一,最好以一個為準,其他作為參考,否則容易亂
根據以上教程可能會出現的異常
親測:安裝完整版spark不會出現異常
1.缺少slf4j包 logger 記錄日誌(原因:不安裝hadoop的情況下會出現,若已安裝應該不會有問題)
特別提醒
在複製教程中的配置語句注意版本名的問題,尤其後綴,版本號!!!
若輸入某啟動命令無效時,即彈出"xx不是命令",很有可能是配置語句寫錯
應首先使用cd 命令進入路徑,查詢是否有相關命令
關於linux平臺 ubuntu漢化比較完整,適合中國人使用,但不建議使用麒麟版本,容易出現各種奇怪問題,另外ubuntu圖形化豐富, 不適合跑在虛擬機器上(可能虛擬機器優化的好應該沒問題,但目前本人嘗試過網上許多方法還是無法流暢使用) 其他平臺如redhat, deplin 漢化比較麻煩,漢化可能一不小心會搞崩系統,但優點是圖形化簡單,適合安裝在虛擬機器上 使用linux還是系統的學習從基礎學起比較好,否則會被坑到沒脾氣