1. 程式人生 > >大資料偽分散式搭建

大資料偽分散式搭建

hadoop安裝配置

  • 在 /opt/ 目錄下建立 software 與 module 空資料夾

cd /opt/ mkdir software module

  • 下載或上傳 Hadoop 安裝包到此目錄下

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

  • 解壓 Hadoop 安裝包到 /opt/module/ 目錄下

tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/

  • 在 /opt/module/hadoop-2.7.7/ 目錄下建立 logs 與 tmp 空資料夾

cd /opt/module/hadoop-2.7.7/ mkdir logs tmp

cd /opt/module/hadoop-2.7.7/etc/hadoop/
vi hadoop-env.sh

按 Shift+ G 鍵跳到最後一行,在按 O 鍵進入下一行編輯

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_144

按 ESC 鍵退出編輯模式

:wq
vi core-site.xml

按 Shift+ G 鍵跳到最後一行,在按 i 鍵進入編輯模式,在標籤 configuration 裡按 Enter 鍵 輸入以下配置

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://rhe101:9000</value>
</property>

<!-- 指定hadoop執行時產生檔案的儲存目錄 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.7/data/tmp</value>
</property>

按 ESC 鍵退出編輯模式

:wq
vi hdfs-site.xml

按 Shift+ G 鍵跳到最後一行,在按 i 鍵進入編輯模式,在標籤 <configuration> 後面按 Enter 鍵 輸入以下配置

<!-- 指定HDFS副本的數量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

按 ESC 鍵退出編輯模式

:wq

  • 更改主機名

vi /etc/hosts

按 Shift+ G 鍵跳到最後一行,在按 O 鍵進入下一行編輯

192.168.159.101 rhe101
192.168.159.102 rhe102
192.168.159.103 rhe103
192.168.159.104 rhe104

按 ESC 鍵退出編輯模式

:wq

  • 修改主機名

hostnamectl set -hostname rhe101

  • 啟動叢集

(a)格式化 namenode(第一次啟動時格式化,以後就不要總格式化)

cd /opt/module/hadoop-2.7.7/
bin/hdfs namenode -format

(b)啟動

sbin/start-dfs.sh

(c)啟動namenode

sbin/hadoop-daemon.sh start namenode

(d)啟動datanode

sbin/hadoop-daemon.sh start datanode

  • 關閉防火牆

systemctl stop firewalld.service

  • 禁用防火牆

systemctl disable firewalld.service