雲伺服器安裝 R & Spark

雲伺服器是滴滴雲

本教程需結合下面兩個連結

https://blog.csdn.net/jarth/article/details/53098844

單機安裝R&Spark

https://blog.csdn.net/kahung_l/article/details/80072146

1.R：

    正常安裝 準備操作可能出錯 例如下載公鑰可能出錯 如果無法解決選擇跳過

2.Spark
  1.安裝jdk，儘量不要用openJDK 去官網
    命令列下載：
    若檔名不對下載後重命名(字尾tgz tar.gz都正常)
    https://www.howtoing.com/rename-downloaded-file-with-wget-in-linux
    (使用 -c 而不是 -cO)      
    https://yq.aliyun.com/articles/423928
    注意末尾jdk版本的替換
    解壓
    問題 gzip: stdin: unexpected end of file
    壓縮包名字不正確 使用命令列下載需要重新命名（可以檢視檔案大小來驗證）
    注意下載儲存的名字 通過大小判斷 可能不是原始名字

3.ssh
   Enter file in which to save the key   
   直接回車跳過
   控制檯顯示
   Enter file in which to save the key (/home/dc2-user/.ssh/id_rsa):
   Created directory '/home/dc2-user/.ssh'.
   Enter passphrase (empty for no passphrase):
   Enter same passphrase again:
   Your identification has been saved in /home/dc2-user/.ssh/id_rsa.
   Your public key has been saved in /home/dc2-user/.ssh/id_rsa.pub.
   The key fingerprint is:
   SHA256:Zz0j06u36DCN/TulNuDwTzPDtQiqjp/lFYpDRNkYg9s

[email protected]
   The key's randomart image is:
    +---[RSA 2048]----+
|     .+=         |
|    ..o..        |
|     o.          |
|    ..E    o     |
|      . S B = .  |
|     . ..O.* *.. |
|      o B++.Oo.  |
|     . * +o=*+   |
|    .o= ..++==   |
+----[SHA256]-----+
 
     4.hadoop

      部分不使用的功能跳過   

     尤其xml檔案的修改可以跳過,只要解壓hadoop並在profile檔案中配置好路徑即可

      https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.2/hadoop-3.0.2.tar.gz
     5.scala
      正常安裝
      下載URL
       https://downloads.lightbend.com/scala/2.12.5/scala-2.12.5.tgz
     6.spark
      注意without hadoop 版 和 完整版的區別
      還是下完整版比較好!!! 否則會提示缺少相關包!!! 比如slf4j
      spark完整版   
      http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

特別提醒

在複製教程中的配置語句注意版本名的問題,尤其後綴,版本號!!!

若輸入某啟動命令無效時,即彈出"xx不是命令",很有可能是配置語句寫錯

應首先使用cd 命令進入路徑,查詢是否有相關命令

tips

ls 列出檔案
cd / 根目錄
sudo 必須要帶，即使不用密碼（好像一般雲不會給超級使用者）
ctrl + c 取消命令 輸入錯誤命令（包括亂碼）時 特別好用  
ls -lht  檢視檔案大小
mv  重新命名 mv a b
rm  刪除

注意備份還原 每安裝好一部分就備份（建立快照），有問題再還原

備份注意看是資料盤還是系統盤

建立系統盤快照:

在伺服器列表點選選擇建立快照

跟著教程安裝時 注意軟體程式新舊版本號 安裝目錄(直接進入目錄檢視)

注意兩種控制檯的區別 vnc和web 使用web方便使用滑鼠

斷開控制檯連線後 若無法重連就重啟 注意斷開連線不等於關機

vim

使用vim 編輯檔案時 可能會出現swap檔案 原因是編輯是出現宕機崩潰,如果不需要就刪除

Ubuntu下gedit比vim好用,只要將vim命令換為gedit即可 eg: sudo gedit filename

https://www.cnblogs.com/is-Tina/p/7755928.html
有時寫錯不想儲存 直接輸入命令 :q!