大資料偽分散式搭建
hadoop安裝配置
- 在 /opt/ 目錄下建立 software 與 module 空資料夾
cd /opt/ mkdir software module
- 下載或上傳 Hadoop 安裝包到此目錄下
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
- 解壓 Hadoop 安裝包到 /opt/module/ 目錄下
tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/
- 在 /opt/module/hadoop-2.7.7/ 目錄下建立 logs 與 tmp 空資料夾
cd /opt/module/hadoop-2.7.7/ mkdir logs tmp
- 進入 /opt/module/hadoop-2.7.7/etc/hadoop/ 目錄下分別配置 hadoop-env.sh ,hadoop-env.sh ,hdfs-site.xml
cd /opt/module/hadoop-2.7.7/etc/hadoop/
vi hadoop-env.sh
按 Shift+ G 鍵跳到最後一行,在按 O 鍵進入下一行編輯
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_144
按 ESC 鍵退出編輯模式
:wq
vi core-site.xml
按 Shift+ G 鍵跳到最後一行,在按 i 鍵進入編輯模式,在標籤 configuration 裡按 Enter 鍵 輸入以下配置
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://rhe101:9000</value> </property> <!-- 指定hadoop執行時產生檔案的儲存目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.7/data/tmp</value> </property>
按 ESC 鍵退出編輯模式
:wq
vi hdfs-site.xml
按 Shift+ G 鍵跳到最後一行,在按 i 鍵進入編輯模式,在標籤 <configuration>
後面按 Enter 鍵 輸入以下配置
<!-- 指定HDFS副本的數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
按 ESC 鍵退出編輯模式
:wq
- 更改主機名
vi /etc/hosts
按 Shift+ G 鍵跳到最後一行,在按 O 鍵進入下一行編輯
192.168.159.101 rhe101
192.168.159.102 rhe102
192.168.159.103 rhe103
192.168.159.104 rhe104
按 ESC 鍵退出編輯模式
:wq
- 修改主機名
hostnamectl set -hostname rhe101
- 啟動叢集
(a)格式化 namenode(第一次啟動時格式化,以後就不要總格式化)
cd /opt/module/hadoop-2.7.7/
bin/hdfs namenode -format
(b)啟動
sbin/start-dfs.sh
(c)啟動namenode
sbin/hadoop-daemon.sh start namenode
(d)啟動datanode
sbin/hadoop-daemon.sh start datanode
- 關閉防火牆
systemctl stop firewalld.service
- 禁用防火牆
systemctl disable firewalld.service
- 在瀏覽器中訪問 http://192.168.159.101:50070/ 驗證是否成功