hadoop-虛擬機器配置與hadoop基本配置
一、虛擬機器設定
環境:centos6.4
vmware網路介面卡:橋接模式,禁用vmnet8
vim /etc/sysconfig/network-scripts/ifcfg-eth0
閘道器的設定參考外部機器的預設閘道器
DEVICE=eth0 TYPE=Ethernet UUID=57cd273b-3bed-4378-957f-fe1552b5212d ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.1.130 PREFIX=24 GATEWAY=192.168.1.1 DNS1=192.168.1.1View CodeDEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no NAME="System eth0" HWADDR=00:0C:29:22:0D:E9 LAST_CONNECT=1540218650
關閉防火牆:service iptables stop,chkconfig iptables off。
確保外部機器和虛擬機器能相互ping通,就可以使用xhell操作虛擬機器了。
更改hostname:vim /etc/sysconfig/network --> HOSTNAME=hadoop-server-00
配置叢集的hosts:vim /etc/hosts
192.168.1.130 hadoop-server-00
192.168.1.131 hadoop-server-01
192.168.1.132 hadoop-server-02
修改下次啟動不使用圖形介面:vim /etc/inittab --> id:5:initdefault: --> id:3:initdefault:
完成以上操作後重啟虛擬機器,重啟後可能不會自動連線網路,需要手動連線一下:ifup eth0
二、配置jdk
mkdir /usr/local/apps tar -zxf jdk-8u191-linux-x64.tar.gz -C /usr/local/apps/ vimView Code/etc/profile export JAVA_HOME=/usr/local/apps/jdk1.8.0_191 export PATH=$PATH:$JAVA_HOME/bin
儲存退出後執行 source /etc/profile,並且驗證jdk是否配置成功。
三、配置hadoop
下載地址:
http://archive.apache.org/dist/ 解壓:tar -zxf hadoop-2.4.1.tar.gz -C /usr/local/apps/ 進入hadoop的配置目錄:/usr/local/apps/hadoop-2.4.1/etc/hadoop 1.修改hadoop的環境資訊:vim hadoop-env.shexport JAVA_HOME=/usr/local/apps/jdk1.8.0_191/
2.修改hadoop執行的公共配置:vim core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-server-00:9000/</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/apps/hadoop-2.4.1/tmp/</value> </property> </configuration>
3.修改hdfs相關的配置:vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.修改mapreduce相關配置:mv mapred-site.xml.template mapred-site.xml,vim mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
5.修改yarn相關配置:vim yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-server-00</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6.修改從節點:vim slaves,修改其中的localhost為:
hadoop-server-00
四、啟動hadoop
1.格式化hdfs:
/usr/local/apps/hadoop-2.4.1/bin ./hadoop namenode -format
2.手動啟動hadoop:cd /usr/local/apps/hadoop-2.4.1/sbin/
./hadoop-daemon.sh start namenode
jps檢視是否啟動。接著啟動datanode:
./hadoop-daemon.sh start datanode
啟動secondarynamenode:
./hadoop-daemon.sh start secondarynamenode
檢視埠:netstat -nltp,其中50070為外部web訪問的埠,可以嘗試訪問一下:http://192.168.1.130:50070
3.啟動yarn的程序:cd /usr/local/apps/hadoop-2.4.1/sbin
./yarn-daemon.sh start resourcemanager
./yarn-daemon.sh start nodemanager
五、使用指令碼啟動
先關閉之前手動啟動的程序,然後進入目錄:cd /usr/local/apps/hadoop-2.4.1/sbin/
./start-dfs.sh
多次提示輸入密碼和信任(可以設定ssh信任關係後就不需要輸入密碼了),完成後使用jps可以看到已經啟動了3個程序。
在登入方生成金鑰對,然後將公鑰複製給目標主機,在目標機器上將公鑰加入授權檔案:~/.ssh/authorized_keys(該檔案許可權為600)
1.生成金鑰對:ssh-keygen
2.加入目標機器的授權檔案:ssh-copy-id hadoop-server-01
在本機生成:ssh-keygen,把公鑰傳到本機:ssh-copy-id hadoop-server-00,完成後在登入本機(ssh hadoop-server-00)就不需要密碼了。
測試使用指令碼啟動(不需要輸入密碼),先停止程序:./stop-dfs.sh,jps
./start-dfs.sh,如果還需要密碼說明信任關係設定的不對,需要檢測。
./start-yarn.sh,啟動yarn程序
如果看到5個程序都啟動成功了,說明配置ok。