hadoop2.x安裝（準備工具）
阿新 • • 發佈：2019-02-13
每次換電腦的時候都要把hadoop的環境重新的搭建一遍，每次配置的時間不是很長，但是準備的時間浪費很多，都是一些常用的工具軟體還有對應的外掛，映象什麼的。所以這次在部落格上總結一下。算是一種複習，也算是為剛接觸hadoop的同學一個方便的思路。下面我將分為幾部分來描述搭建hadoop2.x的所有的流程。這部分是環境的準備工作。（面向的是windows的使用者，採用虛擬機器的方式來搭建hadoop的環境，並遠端的配置。）
- 系統環境的確認，因為當前的電腦大多是64位作業系統的，而且我們用的vmware也是隻支援64位系統的（當然vmware有破解的32位的系統，但是建議還是用64位的系統要好一些，因為後面虛擬機器會開好多臺，32位系統做多的4G記憶體有點吃不消。）。
- 下載vmware虛擬機器軟體，網上有現成的軟體，可以下載一個破解版的，我用的是VMware Workstation 12.5,找找破解密匙，配合著虛擬機器下載一個版本的linux的映象，我用的是CentOS-7-x86_64-DVD-1611.iso這個映象。大家可以網上下載。安裝映象，這種文章網上很多，正常的安裝就可以了，建議下載映象的時候下載一個帶桌面的映象，這樣可以方便之後的配置ip地址（當然用linux用的熟的可以直接安裝免桌面的，畢竟桌面的會佔用很大一部分資源）
- 安裝完虛擬機器後就是ip地址的配置了，有三種方式，hostonly，橋接，還有net模式。
（橋接模式是你有一個除了本機用的ip之外的一個真實可用的ip，這樣就相當於兩臺電腦，連個ip),但是一般我們沒有那麼多閒置的ip，這時候可以採用hostonly模式，就是把主機和需要的多臺的虛擬機器配置到一個子網下，這樣雖然不能真正的訪問internet,但是windows主機和多臺虛擬機器之間是可以相互通訊的。我用的就是這種方式。需要這樣設定（點選VMware快捷方式，右鍵開啟檔案所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設定網段：192.168.8.0 子網掩碼：255.255.255.0 -> apply -> ok，回到windows –> 開啟網路和共享中心 -> 更改介面卡設定 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設定windows的IP：192.168.8.100 子網掩碼：255.255.255.0 -> 點選確定）這樣windows主機和linux的主機都在子網段8網段之下，下次設定虛擬機器的ip地址的時候就可以是192.168.8.78。設定之後進入cmd，ping一下虛擬機器設定的ip地址。例如ping 192.168.8.78.然後在用虛擬機器pingwindows主機，這時候ping windows主機的ip不是那個真是的ip，而是在子網下的ip，就是192.168.8.100.如果互相的ping通了就證明可以遠端調控了。如果ping不同，可能是沒有設定對，一定要設定在同一個網段下。 - 遠端的連線工具SecureCRT（用來遠端連線linux的遠端客戶端），因為我們需要模擬遠端的控制多臺linux伺服器，所以需要一個遠端連結工具，也可以用xshell.我上傳了一個破解版的SecureCRT 這裡寫連結內容
- 配置hadoop的環境多半是配置xml檔案，當然可以直接在linux下手動的vim來編輯xml檔案中的標籤，但是這樣非常容易出錯，所以大多是把配置的選項記錄在本地的記事本中，然後用一個遠端的軟體進行配置，只需要複製，貼上，就可以。Notepad++這裡寫連結內容 壓縮包中的NppFTP_0.26.3/bin/NppFTP.dll使用來遠端連線linux的外掛，需要拷貝到Notepad++安裝目錄的plugins目錄下。
- 遠端傳輸資源的軟體winscp(用來把下載的hadoop2.x的壓縮包，和jdk等一些大檔案由windows傳輸到linux上）這裡寫連結內容
- 下載linux版本的jdk（我下載的是jdk-7u79-linux-x64.tar.gz）也可以是更高的版本，這個資源過大，所以可以在oracle官網上下載這裡寫連結內容
- 下載hadoop安裝包這裡寫連結內容選擇對應版本的hadoop下載我用的是 hadoop-2.7.3.tar.gz，其中的那個hadoop-2.7.3.src.tar.gz是hadoop的原始碼包，利用這個src原始碼包可以下載所有的hadoop原始碼，在IDE編寫的時候可以關聯原始碼來更加深入的瞭解hadoop,因為下載原始碼需要安裝mvn和protoc。在網上可以找到相應的文章怎麼利用hadoop的src原始碼包下載hadoop原始碼 這裡我已經下載了所有的原始碼，並且打包成了zip模式的壓縮包，需要關聯原始碼的可以直接下載hadoop原始碼zip
上邊的這些步驟不是每一步都必須做的，有的是方便之後配置的工具，讀者根據自身的情況來選擇。不必完全的相同。
