vmware centOS7.0環境下配置hadoop叢集+spark叢集
從開始玩linux,配置hadoop和spark叢集的過程用了二十多個小時,後面也是進行得越來越順利。
在安裝和配置過程中學習和用到的一些網站和部落格,在此分享一下。
一、vmware centOS7.0 hadoop jdk hadoop scala spark 安裝包百度網盤分享
連結:https://pan.baidu.com/s/16d1gxlYOxL9-dwHcNiyrDw 密碼:04y4
二、vmware及vmware下centOS7.0的安裝,按照百度經驗照做就可以解決
三、centOS7.0安裝後無法上網
(1)使用root許可權
su //使用root許可權
(2) 修改ifcfg-enoxxxxx檔案
(3)將no改為yes
(4)重啟network
service network restart
四、安裝配置JDK
(1)參考部落格https://www.cnblogs.com/yjlch1016/p/8900841.html
注centOS7.0自帶openjdk,並且沒有配置環境變數,可先下載jdk安裝包,解壓之後直接配置環境變數即可,無需解除安裝openjdk操作
(2)參考部落格https://blog.csdn.net/u013248434/article/details/70304526
可以得知獲取centOS7.0自帶openjdk的安裝路徑,但是對於scala的安裝,必須要按照(1)安裝jdk
安裝成功後,javac、java、java -version進行驗證,截圖如下
五、hadoop安裝及叢集配置
參考部落格 https://blog.csdn.net/pucao_cug/article/details/71698903
六、scala,spark安裝及單機、叢集配置
叢集版,參考部落格 https://blog.csdn.net/pucao_cug/article/details/72353701
單機版,參考部落格 https://blog.csdn.net/pucao_cug/article/details/72377219
spark測試,參考部落格
七、putty傳輸檔案
(1)從windows向centOS傳輸檔案,參考部落格 https://blog.csdn.net/wqn_csdn/article/details/72582000
(2)將centOS中的檔案下載到本地的命令如下,即可在本地檢視下載的文件
八、U盤掛載
參看百度經驗 https://jingyan.baidu.com/article/8ebacdf028b13449f65cd5a5.html
九vmware tools安裝以實現虛擬機器和主機之間檔案拖拽共享(但是在虛擬機器下有多個centOS7.0系統時,我只能配置成功一個)
參考部落格 http://blog.51cto.com/5001660/2093899
在熟悉的過程中遇到了很多坑,但是處理起來會越來越順利許多。