hadoop實戰(二)ubuntu18.04搭建hadoop叢集
阿新 • • 發佈:2018-12-11
一、 安裝JDK
官網下載jdk壓縮包並解壓, vim /etc/proflie 或者修改vi ~/.bashrc 加上如下:export JAVA_HOME=/home/hadoop/jdk1.8.0_161
export HADOOP_HOME=/home/hadoop/hadoop-2.9.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然後是Source /etc/proflie 或者Source ~/.bashrc ,檢視java是否配置成功使用java -version
二、配置ssh免密登入
cd ~/.ssh
ssh-keygen -t rsa (四個回車)
執行完這個命令後,會生成兩個檔案id_rsa(私鑰)、id_rsa.pub(公鑰)
將公鑰拷貝到要免密登陸的目標機器上
ssh-copy-id localhost(目標主機地址)
三、修改hosts
為了方便使用,這裡手動新增兩個域名解析,vi /etc/hosts 192.168.206.131 mini1 192.168.206.132 mini2 192.168.206.130 mini3 192.168.206.134 mini4
四、配置hadoop
首先應該下載壓縮包 http://archive.apache.org/dist/hadoop/core/ ,下載需要的版本然後解壓,注意:hadoop2.x的配置檔案$HADOOP_HOME/etc/hadoop,進入到目錄中 1、hadoop-env.sh,知道jdk路徑 vim hadoop-env.sh
#第27行
export JAVA_HOME=/home/hadoop/jdk1.8.0_161
2、core-site.xml
3、hdfs-site.xml<!-- 指定HADOOP所使用的檔案系統schema(URI),HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://mini1:9000</value> </property> <!-- 指定hadoop執行時產生檔案的儲存目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.9.1/hadoopdata</value> </property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>mini1:50090</value>
</property>
4、mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr執行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5、yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mini1</value>
</property>
<!-- reducer獲取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
完成之後需要先格式化hdfs檔案系統
hdfs namenode -format (hadoop namenode -format)
啟動hadoop
先啟動HDFS
sbin/start-dfs.sh
再啟動YARN
sbin/start-yarn.sh
驗證是否啟動成功
使用jps命令驗證
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
http://192.168.206.101:50070 (HDFS管理介面)
http://192.168.206.101:8088 (MR管理介面)