1. 程式人生 > >hadoop2.2.0偽分佈安裝

hadoop2.2.0偽分佈安裝

一、安裝虛擬機器

安裝過程可以在網上查詢。

二、安裝Linux系統

系統可以Redhat、CentOS。這裡用的是CentOS。安裝過程可以網上檢視。

三、偽分散式安裝

3.1準備Linux環境

輔助工具

PieTTY、WinSCP               FileZilla、secureCRT

連通Linux(客戶機)和Windows(宿主機)使它們能夠進行通訊

在windows系統下,開啟 “控制面板” --->開啟“網路和共享中心”--->“更改介面卡設定”--->點選“VMnet1”,右鍵選擇“屬性”--->點選“Internet協議版本4”--->點選右下角"屬性"--->選擇“使用下面的IP地址”,在IP位址列裡寫入一個IP,比如192.168.80.1,要保證Linux的IP也處在相同的網段,子網掩碼寫入255.255.255.0--->選擇“使用下面的DNS伺服器地址”,在首選DNS伺服器欄裡寫入192.168.80.1--->點選“確定”,退出

在Linux系統下,

☞將虛擬機器的網路連線模式改為host-only模式。在虛擬軟體上 --->My Computer ---> 選中虛擬機器 ---> 右鍵 ---> settings ---> network adapter -> host only

☞修改主機名。

vim /etc/sysconfig/network

NETWORKING=yes 
HOSTNAME=
hadoop1    ###

☞修改IP。有兩種方式:

(1)通過Linux圖形介面進行修改(強烈推薦)

進入Linux圖形介面 -> 右鍵點選右上方的兩個小電腦 -> 點選Edit connections -> 選中當前網路System eth0 -> 點選edit按鈕 -> 選擇IPv4 -> method選擇為manual -> 點選add按鈕 -> 新增IP:192.168.

80.100 子網掩碼:255.255.255.0 閘道器:192.168.80.1 -> apply

(2)修改配置檔案方式(屌絲程式猿專用)

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
BOOTPROTO="static"           ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.
80.100"       ###
NETMASK="255.255.255.0"      ###
GATEWAY="192.168.

80.1"        ###

修改主機名與IP的對映關係

vim /etc/hosts
192.168.
80.100 hadoop1

☞關閉防火牆

#檢視防火牆狀態
service iptables status
#關閉防火牆
service iptables stop
#檢視防火牆開機啟動狀態
chkconfig iptables --list
#關閉防火牆開機啟動
chkconfig iptables off

☞重啟Linux使配置生效

reboot

★安裝jdk

使用FileZilla將下載好的jdk上傳到Linux中,這裡用的是32位1.7版本的

解壓jdk

#建立資料夾
mkdir /usr/java
#解壓
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

將jdk新增到環境變數中

vim /etc/profile
#在檔案最後新增
export JAVA_HOME=/usr/java/jdk1.7.0_55
export PATH=$PATH:$JAVA_HOME/bin

#重新整理配置
source /etc/profile

★安裝hadoop2.2.0

使用FileZilla將下載好的hadoop2.2.0上傳到Linux中

☞解壓hadoop安裝包
mkdir
   /cloud
#解壓到/cloud/目錄下
tar
 -zxvf hadoop-2.2.0.tar.gz   -C   /cloud/

☞修改配置檔案(5個)

先進入cd   /cloud/hadoop-2.2.0/etc/hadoop/

(1)

vim  hadoop-env.sh
#在27行修改
export JAVA_HOME=/usr/java/jdk1.7.0_55
   

(2)

vim   core-site.xml

<configuration>
<!-- 指定HDFS老大(namenode)的通訊地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://itcast01:9000</value>
</property>
<!-- 指定hadoop執行時產生檔案的儲存路徑 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/cloud/hadoop-2.2.0/tmp</value>
</property>
</configuration>

(3)

vim  hdfs-site.xml

<configuration>
<!-- 設定hdfs副本數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

(4)

先 重命名: mv mapred-site.xml.template mapred-site.xml    

vim  mapred-site.xml
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

(5)

vim  yarn-site.xml
<configuration>
<!-- reducer取資料的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

將hadoop2.2.0新增到環境變數

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/cloud/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile
       

格式化HDFS(namenode)第一次使用時要格式化
hadoop namenode -format

☞啟動hadoop
先啟動HDFS
sbin/start-dfs.sh

再啟動YARN
sbin/start-yarn.sh

☞驗證是否啟動成功
使用jps命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

配置ssh免密碼登入

生成ssh免登陸金鑰
cd ~,進入到我的home目錄
cd .ssh/


ssh-keygen -t rsa (四個回車)
執行完這個命令後,會生成兩個檔案id_rsa(私鑰)、id_rsa.pub(公鑰)
將公鑰拷貝到要免登陸的機器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh-copy-id -i localhost