hadoop-虛擬機配置與hadoop基本配置
一、虛擬機設置
環境：centos6.4
vmware網絡適配器：橋接模式，禁用vmnet8
vim /etc/sysconfig/network-scripts/ifcfg-eth0
網關的設置參考外部機器的默認網關
DEVICE=eth0 TYPE=Ethernet UUID=57cd273b-3bed-4378-957f-fe1552b5212d ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.1.130 PREFIX=24 GATEWAY=192.168.1.1 DNS1=192.168.1.1 DEFROUTE=yes IPV4_FAILURE_FATALView Code=yes IPV6INIT=no NAME="System eth0" HWADDR=00:0C:29:22:0D:E9 LAST_CONNECT=1540218650
關閉防火墻：service iptables stop，chkconfig iptables off。
確保外部機器和虛擬機能相互ping通，就可以使用xhell操作虛擬機了。
更改hostname：vim /etc/sysconfig/network --> HOSTNAME=hadoop-server-00
配置集群的hosts：vim /etc/hosts
192.168.1.130 hadoop-server-00
192.168.1.131 hadoop-server-01
192.168.1.132 hadoop-server-02
修改下次啟動不使用圖形界面：vim /etc/inittab --> id:5:initdefault: --> id:3:initdefault:
完成以上操作後重啟虛擬機，重啟後可能不會自動連接網絡，需要手動連接一下：ifup eth0
二、配置jdk
mkdir /usr/local/apps tar -zxf jdk-8u191-linux-x64.tar.gz -C /usr/local/apps/ vim /etc/profile export JAVA_HOME=/usr/local/apps/jdk1.8.0_191 export PATH=$PATH:$JAVA_HOME/binView Code
保存退出後執行 source /etc/profile，並且驗證jdk是否配置成功。
三、配置hadoop
下載地址：
http://archive.apache.org/dist/ 解壓：tar -zxf hadoop-2.4.1.tar.gz -C /usr/local/apps/ 進入hadoop的配置目錄：/usr/local/apps/hadoop-2.4.1/etc/hadoop 1.修改hadoop的環境信息：vim hadoop-env.shexport JAVA_HOME=/usr/local/apps/jdk1.8.0_191/
2.修改hadoop運行的公共配置：vim core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-server-00:9000/</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/apps/hadoop-2.4.1/tmp/</value> </property> </configuration>
3.修改hdfs相關的配置：vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.修改mapreduce相關配置：mv mapred-site.xml.template mapred-site.xml，vim mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
5.修改yarn相關配置：vim yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-server-00</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6.修改從節點：vim slaves，修改其中的localhost為：
hadoop-server-00
四、啟動hadoop
1.格式化hdfs：
/usr/local/apps/hadoop-2.4.1/bin ./hadoop namenode -format
2.手動啟動hadoop：cd /usr/local/apps/hadoop-2.4.1/sbin/
./hadoop-daemon.sh start namenode
jps查看是否啟動。接著啟動datanode：
./hadoop-daemon.sh start datanode
啟動secondarynamenode：
./hadoop-daemon.sh start secondarynamenode
查看端口：netstat -nltp，其中50070為外部web訪問的端口，可以嘗試訪問一下：http://192.168.1.130:50070
3.啟動yarn的進程：cd /usr/local/apps/hadoop-2.4.1/sbin
./yarn-daemon.sh start resourcemanager
./yarn-daemon.sh start nodemanager
五、使用腳本啟動
先關閉之前手動啟動的進程，然後進入目錄：cd /usr/local/apps/hadoop-2.4.1/sbin/
./start-dfs.sh
多次提示輸入密碼和信任（可以設置ssh信任關系後就不需要輸入密碼了），完成後使用jps可以看到已經啟動了3個進程。
在登錄方生成密鑰對，然後將公鑰復制給目標主機，在目標機器上將公鑰加入授權文件：~/.ssh/authorized_keys（該文件權限為600）
1.生成密鑰對：ssh-keygen
2.加入目標機器的授權文件：ssh-copy-id hadoop-server-01
在本機生成：ssh-keygen，把公鑰傳到本機：ssh-copy-id hadoop-server-00，完成後在登錄本機（ssh hadoop-server-00）就不需要密碼了。
測試使用腳本啟動（不需要輸入密碼），先停止進程：./stop-dfs.sh，jps
./start-dfs.sh，如果還需要密碼說明信任關系設置的不對，需要檢測。
./start-yarn.sh，啟動yarn進程
如果看到5個進程都啟動成功了，說明配置ok。
hadoop-虛擬機配置與hadoop基本配置