1. 程式人生 > 其它 >Spark實驗1_Linux系統的安裝和常用命令

Spark實驗1_Linux系統的安裝和常用命令

實驗1 Linux系統的安裝和常用命令

一、實驗目的

(1)掌握 Linux 虛擬機器的安裝方法。Spark 和 Hadoop 等大資料軟體在 Linux 作業系統上執行可以發揮最佳效能,因此,本教程中,Spark 都是在 Linux 系統中進行相關操作,同時,下一章的 Scala 語言也會在 Linux 系統中安裝和操作。鑑於目前很多讀者正在使用 Windows 作業系統,因此,為了順利完成本教程的後續實驗,這裡有必要通過本實驗,讓讀者掌握在 Windows 作業系統上搭建 Linux 虛擬機器的方法。當然,安裝 Linux 虛擬機器只是安裝 Linux 系統的其中一種方式,實際上,讀者也可以不用虛擬機器,而是採用雙系統的方式安裝 Linux 系統。本教程推薦使用虛擬機器方式。

(2)熟悉 Linux 系統的基本使用方法。本教程全部在 Linux 環境下進行實驗,因此,需要讀者提前熟悉 Linux 系統的基本用法,尤其是一些常用命令的使用方法。

二、實驗平臺

作業系統:Windows系統和Ubuntu系統

虛擬機器軟體:VMWare。本次適應預設的Linux發行版為Ubuntu 20.04.3LTS

三、 實驗內容和要求

  1. 安裝Linux虛擬器

在官網下載最新的Ubuntu桌面系統https://cn.ubuntu.com/download/desktop

開啟VMWare,Ctrl + N 新建虛擬機器

選擇自定義

下一步,選擇剛剛下載好的映象

填寫簡易安裝的資訊

下一步,更改虛擬機器建立位置

配置虛擬器處理器數量

下一步,選擇分配的記憶體大小

下一步,分配磁碟容量

點選完成,建立虛擬機器

等虛擬機器啟動起來,就完成了安裝。

(等了半天,也沒有磁碟分割槽這一項。等可以進入頁面後,查看了分割槽情況,已經自動分好了。這樣對新手來說也是比較友好)

  1. 使用Linux系統的常用命令

啟動 Linux 虛擬機器,進入 Linux 系統,通過查閱相關 Linux 書籍和網路資料,或者參考 本教程官網的“實驗指南”的“Linux 系統常用命令”,完成如下操作:

(1) 切換到目錄 /usr/bin;

(2) 檢視目錄/usr/local 下所有的檔案;

(3) 進入/usr 目錄,建立一個名為 test 的目錄,並檢視有多少目錄存在;

(4)在/usr 下新建目錄 test1,再複製這個目錄內容到/tmp;

(5)將上面的/tmp/test1 目錄重新命名為 test2;

(6)在/tmp/test2 目錄下新建 word.txt 檔案並輸入一些字串儲存退出;

下載vim

zihoo@ubuntu:/tmp/test2$ sudo apt install vim

(7)檢視 word.txt 檔案內容;

(8)將 word.txt 檔案所有者改為 root 帳號,並檢視屬性;

(9)找出/tmp 目錄下檔名為 test2 的檔案;

(10)在/目錄下新建資料夾 test,然後在/目錄下打包成 test.tar.gz;

(11)將 test.tar.gz 解壓縮到/tmp 目錄。

  1. 在Windows和Linux系統之間互傳檔案

客戶端 - FileZilla中文網

一路下一步即可完成安裝

新建一個站點

(1)在 Windows 系統中新建一個文字檔案 test.txt,並通過 FTP 軟體 FileZilla,把 test.txt 上傳到 Linux 系統中的“/home/hadoop/下載”目錄下,把利用 Linux 命令把該檔名修改為 test1.txt;

(2) 通過 FTP 軟體 FileZilla,把 Linux 系統中的“/home/hadoop/下載”目錄下的 test1.txt檔案下載到 Windows 系統的某個目錄下。

錯誤

方案一:去掉解壓引數中的z,執行命令改為:tar -xvf xx.tar.gz。

該方案的原因是:下載的檔案並不是“通過 gzip 過濾歸檔”所以新增引數z就無法正常解壓。

如果該方案依舊無法進行正常解壓那就嘗試第二中方案。

方案二:重新下載或上傳壓縮檔案

本方案是針對下載的壓縮檔案並不完整,也就是說並沒有正常下載完成。可以換個方式重新下載。比如通過wget下載之後,執行出現上面問題。可以嘗試在其他機器上直接下載,然後上傳到目標伺服器上再執行上面解壓命令即可。

FileZilla無法連線

安裝sshd: