Hadoop的叢集搭建

一:JDK裝好

二:配置了免密登陸和主機名對映

三:同步時間和關閉防火牆

四:然後開始搭建hadoop叢集

NAT 方式聯網

配置 h ssh  免密登陸

#生成 ssh 免登陸金鑰

ssh-keygen -t rsa （四個回車）

執行完這個命令後，會生成 id_rsa（私鑰）、id_rsa.pub（公鑰）

將公鑰拷貝到要免密登陸的目標機器上

ssh-copy-id node-02

配置  IP 、主機名 對映

vi /etc/hosts

192.168.33.101 node-1

192.168.33.102 node-2

192.168.33.103 node-3

#關閉防火牆

service iptables stop

#檢視防火牆開機啟動狀態

chkconfig iptables --list

#關閉防火牆開機啟動

chkconfig iptables off

#網路同步時間

ntpdate cn.pool.ntp.org

設定主機名

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=node-1

這個是我們編譯過的hadoop, 如果沒有編譯過的需要先編譯hadoop(耗時50分鐘)

然後開始我們的正式搭建hadoop的叢集

1 上傳我們的安裝包,在主機上上傳  cd /export/server

         上傳完畢後解壓我們的安裝包  tar -zxvf 包名

2 hadoop的目錄結構如下

bin：Hadoop 最基本的管理指令碼和使用指令碼的目錄，

etc：Hadoop 配置檔案所在的目錄，包括core-site,xml、hdfs-site.xml、

mapred-site.xml 等從 Hadoop1.0 繼承而來的配置檔案和yarn-site.xml 等

Hadoop2.0 新增的配置檔案。

lib：該目錄包含了 Hadoop 對外提供的程式設計動態庫和靜態庫，與 include 目

錄中的標頭檔案結合使用。

libexec：各個服務對用的 shell 配置檔案所在的目錄，可用於配置日誌輸

出、啟動引數（比如 JVM 引數）等基本資訊。

sbin：Hadoop 管理指令碼所在的目錄，主要包含 HDFS 和 YARN 中各類服務的

啟動/關閉指令碼。

share：Hadoop 各個模組編譯後的 jar 包所在的目錄

3 配置檔案的修改 ,,只需要在直接點上修改之後  然後分發給其他機器

第一個：hadoop-env.sh

cd  /export/server/hadoop-2.7.4/etc/hadoop

vi hadoop-env.sh

export JAVA_HOME=/export/server/jdk1.8.0_65

這裡在配置一下java的原因是不管系統配置了沒保證這裡能載入到.

第二個：core-site.xml

<value>hdfs://node-1:9000</value>   如果是別的檔案系統的話  需要配置對應的schema.

         tfs://

         file://

         gfs://

第三個：hdfs-site.xml

第四個: mapred-site.xml

mv mapred-site.xml.templatemapred-site.xml  修改一下配置檔案的名字

vi mapred-site.xml

這個配置的就是MapReduce執行時交給yarn去計算

第五個：yarn-site.xml

叢集規劃:

結合軟體中各個元件的特性(比如有的佔記憶體,有的需要大量磁碟)以及叢集的硬體設施

合理的把叢集各個元件規劃(把自己的思想體現在機器角色部署上)到合理的機器上,是各個元件不會產生硬體的搶奪..

規劃跟最終的實際匹配,需要配置檔案來約束你的規劃

NameNode 和SecondaryNameNode 需要大量的記憶體

DataNode需要大量的磁碟.所以應該放.

node-01 NameNode DataNode ResourceManager NodeManager

node-02 DataNode NodeManagerSecondaryNameNode

node-03 DataNode NodeManager

叢集的擴容只需要新增DataNode NodeManager(主要放資料和資料管理)

node-04 DataNode NodeManager

node-05 DataNode NodeManager

第六個：slaves檔案，裡面寫上從節點所在的主機名字

vi slaves

node-1

node-2

node-3

將hadoop新增到環境變數

vim /etc/profile

新增以下的命令注意hadoop的位置

exportHADOOP_HOME=/export/server/hadoop-2.7.4

exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

然後把我們的安裝包和配置檔案拷貝給其他的機器

scp -r /export/server/hadoop-2.7.4/[email protected]:/export/server/

scp -r /export/server/hadoop-2.7.4/[email protected]:/export/server/

scp -r /etc/profile [email protected]:/etc/

scp -r /etc/profile [email protected]:/etc/

然後是配置生效  source /etc/profile

配置已經全部完成..

格式化namenode（本質是對namenode進行初始化）

namenode格式化  (ps:因為namenode在node-1上,所以在這裡格式化)

1、新叢集初次啟動需要格式化

2、格式化只能進行一次  後續不再格式化

3、格式化也就是初始化操作 

    因為沒有格式化之前  hdfs在物理上還不存在  初始化一些hdfs執行所需要的初始目錄 檔案等

         不同於傳統意義上的格式化（可不是格式化硬碟 U盤的那個格式化）

4、格式化在hdfs主角色namenode 所在的機器上進行

在/export/server/hadoop-2.7.4/etc/hadoop的目錄下  格式化

格式化的命令如下:

hdfs namenode –format

hadoop叢集啟動

第一種：指令碼一鍵啟動（ssh免密了嗎？ slaves檔案配置了嗎）

         hdfs:start-dfs.sh  stop-dfs.sh

         yarn：start-yarn.sh  stop-yarn.sh

         start-all.sh  stop-all.sh

第二種：

 hdfs   hadoop-daemon.sh

 yarn   yarn-daemon.sh

一鍵啟動hdfs .

此時已經啟動了我們hdfs的叢集

然後是我們的yarn叢集

然後檢視我們的hdfs叢集和yarn叢集

我們的hdfs叢集和yarn叢集配置成功

驗證是否啟動成功

Hdfs的測試  在瀏覽器輸入  node-1:50070 (需要在win上配置hosts,50070是預設埠)

Yarn的測試    在瀏覽器輸入  node-1:8088