Firewalld防火牆技術
一、介紹Linux
Linux是一款開源免費的作業系統。Linux是一套免費使用和自由傳播的類Unix作業系統，是一個基於POSIX和UNIX的多使用者、多工、支援多執行緒和多CPU的作業系統。Linux繼承了Unix以網路為核心的設計思想，是一個性能穩定的多使用者網路作業系統。目前市面上較知名的發行版有：Ubuntu、RedHat、CentOS、Debain、Fedora、SuSE、OpenSUSE。
二、VMwareWorkstation 虛擬機器安裝
這裡推薦https://www.jb51.net/article/169669.htm的安裝教程，就不再多贅述了。
三、為虛擬機器安裝Centos作業系統
這裡推薦https://blog.csdn.net/guo_ridgepole/article/details/78973763的安裝教程，就不再多贅述了。
四、網路連線模式（個人選擇的橋接模式）
五、虛擬機器環境準備
1.克隆虛擬機器並修改靜態ip，這裡搭建叢集需要三臺或者多臺（但必須是單數的）https://blog.csdn.net/qq_42774325/article/details/81189033
2.修改主機名
vim /etc/hostanme向其中加入自己想要取的主機名master，寧外兩臺分別為slaver01和slaver02，修改之後重啟一下。3.新增主機對映
vim /etc/hosts
192.168.3.22 master 192.168.3.23 slaver01 192.168.3.24 slaver02
4.關閉防火牆
systemctl service firewall
5.設定ssh免密登入
ssh免密登入
ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id slaver01
ssh-copy-id slaver02
寧外兩臺機子重複類似操作。
六、安裝JDK
1.解除安裝原有的jdk
rpm -qa |grep java |xargs prm -e --nodeps
2.解壓（這裡的包是已經在opt目錄下的，我在opt目錄下建立的module資料夾，專門存放大資料叢集或元件的安裝目錄）
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
3.改名
mv jdk1.8.0_231/ /opt/module/java4/新增配置
vim /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/module/java
export PATH=$PATH:$JAVA_HOME/bin
使環境變數生效：source /etc/profile
5.測試是否安裝成功
java -version
七、安裝Hadoop
1解壓
tar -zxvf /opt/hadoop-2.7.5.tar.gz -C /opt/module
2改名
mv hadoop-2.7.5/ /opt/module/hadoop
3修改配置 vim /etc/profile
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
生效：source /etc/profile
4測試
hadoop version
八、修改Hadoop配置
1.配置core-site.xml
vim core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定Hadoop執行時產生檔案的儲存目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop/data/tmp</value>
</property>
2.配置hadoop-env.sh,新增jdk路徑。
vim hadoop-env.sh
export JAVA_HOME=/opt/module/java
3.配置hdfs-site.xml
vim hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop輔助名稱節點主機配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slaver02:50090</value>
</property>
4.配置yarn-env.sh,新增jdk路徑
vim yarn-env.sh
export JAVA_HOME=/opt/module/java
5.配置yarn-site.xml
vim yarn-site.xml
在該檔案中增加如下配置
<!-- reducer獲取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slaver01</value>
</property>
6配置mapred-env.sh，新增jdk路徑。
vim mapred-env.sh
export JAVA_HOME=/opt/module/java
7配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在該檔案中增加如下配置
<!-- 指定mr執行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
九、分發叢集
scp -r /opt/module root@slaver01:/opt/module
scp -r /opt/module root@slaver02:/opt/module
在每個從節點使環境變數生效：source /etc/profile
十、啟動hadoop叢集
1.首先格式化hadoop叢集
hadoop namenode -format
2.啟東hadoop，進入sbin目錄下
./start-all.sh
3.檢查服務
jps