hadoop-3.0.0-beta1運維手冊(003):安裝全分布式HDFS3.0.0-準備軟件
HDFS是Hadoop的一個組件,它並沒有單獨發布,因此,我們需要下載Hadoop的安裝包。
1. 下載Hadoop3.0.0-beta1,保存到d:\hdfs3\soft
3-1 Hadoop存儲路徑圖
有關beta1版本的介紹:它是API穩定的版本,但不保證質量,並且不打算用於生產環境。因此,此版本可以用來提前學習,待stable版本出來後,可以直接替換上生產環境。
2. 下載JDK
Hadoop是用java編寫的,JDK提供了java程序的運行環境,因此,需要下載JDK。
Hadoop3.0版本要求JDK1.8以上,不兼容JDK1.7以及之前的版本。
JDK1.8有32bit和64bit
Java程序本身不區分32bit和64bit,因為它面對的是一個統一的JVM;JDK則區分32bit和64bit,JDK 32bit表示它運行在32位機器上,JDK 64bit則表示它運行在64位的機器上。
我們安裝的Centos7是64位的,因此,要選擇64bit的JDK。
下載jdk-8u152-linux-x64.tar.gz
同樣保存到d:\hdfs3\soft
3.2 配置Centos網絡
我們下載的Hadoop3.0.0和JDK1.8保存在Host(Win7)上,需要通過網絡上傳到Guest(Centos7)。因此,需要配置Guest上的網絡,使得Host和Guest
Host和Guest之間的網絡連接如下圖所示:
3-2 Vmware workstation host-only虛擬網絡連接圖
1. Host和Guest之間是通過Host-only虛擬網絡連接的。
註意:Host和Guest之間有3種類型的虛擬網絡可以連接,分別是Bridged、NAT和Host-only。其中Bridge可以使得Guest能夠被Host所連接的網絡上的機器所訪問,但它需要Host真正連接到了一個物理網絡;NAT可以共享Host的外部IP上互聯網;Host-only是Guest和Host之間的一個私有網絡,它不要求Host真正連接到一個物理網絡,因此,最方便。有關這三種網絡的原理和使用,請參考艾叔的高清視頻
2. Host連接到虛擬網絡的網卡名字是VMNet1。這是如何知道的呢?我們可以打開VMware workstation的Virtual Network Editor,如下圖。
3-3 Vmware workstation 虛擬網絡編輯器
然後,我們可以看到虛擬網絡的信息,我們看到的VMnet0對應Bridged虛擬網絡,VMnet1對應Host-only虛擬網絡;VMnet8對應NAT虛擬網絡。
選中VMnet1,向下紅色的部分,我們可以看到“Host virtual adapter name: VMware Network Adapter VMnet1”,這個就是Host-only虛擬網絡中,Host主機的虛擬網卡名。如果我們選中VMnet0,則可以看到Bridged虛擬網絡中,Host主機的虛擬網卡名為VMnet0。
3-4 Vmware workstation host-only虛擬網絡配置界面
3. VMnet1的IP地址是192.168.182.1。這個是如何知道的呢?
首先,我們看VMnet1虛擬網絡子網地址是:192.168.182.0。VMnet1網卡具體的IP地址,要到Windows的網絡連接裏去看。
打開Windows的網絡連接,找到網卡VMnet1,如下。
3-5 Vmware workstation host虛擬網卡
查看IP地址,可以看到是192.168.182.1。
3-6 Vmware workstation host-only虛擬網絡連接圖
驗證,在CMD中ping 192.168.182.1。
註意:這一步非常重要!!!
3-7 Vmware workstation host ping自己
註意:如果Ping不通的話,Guest關機,然後嘗試恢復虛擬機網絡的默認值,如下,點擊Restore Default。
恢復需要等待一段時間,然後Host-only的子網地址會改變,VMnet1的IP同樣會改變。因此,需要再次查看VMnet1的IP,然後ping這個新的IP。
3-8 Vmware workstation 恢復默認網絡設置圖
4. 我們要檢查Guest是否選擇了Host-only網絡
首先,確認下面的Device status的復選框都選中;
其次,Network connection下面的單選框要選中:Host-only,如下紅線所示。
3-9 Vmware workstation 網絡設備狀態圖
5. 查看Guest上的網絡的網卡和IP
Guest登錄
輸入命令:ip a
將顯示Guest上的網卡和IP信息,我們可以看到Guest上有一塊網卡,名字為ens33,它的Mac地址為:00:0C:29:77:B8:70,IP地址由於沒有設置,因此,在mac地址下面沒有顯示。
3-10 CentOS網絡設備查看圖
6. 設置IP
使用文本編輯器vi(有關Linux命令,vi的使用,請參考高清視頻《艾叔:Linux入門-零基礎會用Linux》,精選了Linux下使用最頻繁的命令進行講解,用最短的時間掌握最有用的操作。)打開網卡的配置文件。
3-11 vi編輯網卡配置文件
內容如下
3-12 CentOS網卡配置圖
按下i,應該可以看到左下角出現INSERT
3-13 vi插入狀態圖
編輯下面紅色的部分
3-14 新的CentOS網卡配置圖
按下ESC,應該可以看到左下角的INSERT消失
輸入引號:,左下角應該出現一個引號
3-15 vi末行狀態
輸入wq
3-16 vi保存退出
回車,此時保存文件並退出
關閉網卡
3-17 CentOS關閉網絡
啟動網卡,將加載我們剛才的配置
3-18 CentOS開啟網絡
驗證,可以看到網卡ens33的IP已經設置
3-19 CentOS查看網絡
重啟,看配置是否仍然生效
3-20 CentOS重啟
重啟登錄,查看IP地址,可以看到192.168.182.11,說明配置已經生效
3-21 CentOS查看IP地址
驗證Guest和Host是否聯通
從Host去Ping Guest,看是否能夠Ping通,如下所示,是可以Ping通的。
3-22 Host ping Guest
3.3 上傳軟件到Centos
1. 創建普通用戶
在上傳軟件之前,我們要在Centos上創建一個普通用戶,在Linux下,我們要盡可能地在普通用戶下工作,這是一個好習慣。
使用下面的命令創建一個普通用戶,用戶名為user,並且為該用戶?????????建它的home目錄。
3-23 創建普通用戶及其home目錄
設置user用戶的密碼,為簡單起見,我們密碼同樣設置為123456。
註意,設置密碼的命令為:passwd user
在下面的橫線處,輸入123456,註意123456不會有回顯。
3-24 設置普通用戶密碼
如果我們可以看到sucessfully,則說明設置成功。
切換到user,切換過去後,我們可以看到#變成了$,$表示當前用戶為普通用戶。
3-25 切換到普通用戶
打印當前工作路徑,是/home/user,這個是user的home目錄,後續我們將軟件上傳到此目錄下。
3-26 顯示當前工作路徑
2. 確認sshd服務
通過sshd服務,我們可以軟件從Host上傳到Guest,下面的命令將確認Centos上是否開啟了sshd服務,如果可以看到紅圈內的22,則說明服務已經開啟。
3-27 顯示當前端口
3. 下載WinSCP
WinSCP是一個Windows(Host)下的軟件,它與Guest上的sshd交互,可以完成文件的傳輸。
下載後,直接解壓即可,無需安裝。
3-28 解壓目錄
點擊WinSCP
在右側文件協議中選擇SCP
主機名:192.168.182.11
端口號:22
用戶名:user,密碼:123456
點擊登錄
3-29 winscp連接配置界面
在彈出的對話框中選擇Y
3-30 winscp連接對話框
登錄,界面如下,左側為Host主機的目錄,右側為Guest主機的目錄
3-31 winscp傳輸界面
右側Guest目錄為/home/user
在左側找到我們要上傳的文件,然後將其拖拽到右側,如下,註意紅線所指的路徑是/home/user。
3-32 winscp本地存儲路徑
上一篇:《hadoop-3.0.0-beta1運維手冊(002):安裝Guest操作系統》
原創文章,轉載請註明: 轉載自大數據學習網,作者:艾叔
本文鏈接地址: http://www.bigdatastudy.net/show.aspx?id=435&cid=8
hadoop-3.0.0-beta1運維手冊(003):安裝全分布式HDFS3.0.0-準備軟件