1、軟體需求

•VMware Workstaton 12.0.0

•Putty

•FileZilla

•apache-tomcat-8.5.13.tar.gz

•jdk-8u121-linux-x64.tar.gz

•zookeeper-3.5.2tar.gz

•jstorm-2.1.1.zip

2、叢集規劃

•192.168.174.200 jstorm01

•192.168.174.201 jstorm02

•192.168.174.202 jstorm03

3、搭建步驟

3.1安裝虛擬機器軟體

此處省略幾百字，不會安裝的可以參照網上的教程

3.2建立虛擬機器系統

3.2安裝centos7系統

3.3配置虛擬機器

3.3.1 停止並關閉防火牆

systemctl stop frewalld.service
systemctl disable frewalld.service

3.3.2 伺服器配置

為了方便操作，我們使用 putty 連線 master(192.168.174.200)進行操作

3.3.2.1 安裝 ZIP 檔案壓縮解壓縮工具

yum install zip unzip

3.3.2.2 安裝 glibc.i686

yum install glibc.i686

3.3.3 上傳相關軟體

使用 Filezilla 工具將所需軟體 apache-tomcat-8.5.13.tar.gz、jdk-8u121-linux-x64.tar.gz、jstorm-2.1.1.zip、zookeeper-3.5.2tar.gz 上傳至虛擬機器 jstorm01

3.3.4 安裝 JDK

開始安裝 jdk，按順序依次執行以下命令：

echo “export LC_ALL=en_US.UTF-8” >> /etc/profile
source /etc/profile
cd /opt
tar -xvf jdk-8u121-linux-x64.tar.gz

3.3.4.1 配置 JDK 環境

cd /opt

echo ‘## java confguraton ’ >> /etc/profile

echo ‘export JAVA_HOME=/opt/jdk1.8.0_121’ >> /etc/profile

echo ‘export PATH=JAVA H OME/bin: PATH’ >> /etc/profile

echo ‘export CLASSPATH=.:JAVA H OME/lib/dt.jar: JAVA_HOME/lib/tools.jar’ >> /etc/profile

source /etc/profile

3.3.5 安裝 zookeeper

按順序依次執行以下命令：
cd /opt

tar -xvf zookeeper-3.5.2.tar

echo ‘# zookeeper confguraton ’ >> /etc/profile

echo ‘export ZOOKEEPER_HOME=/opt/zookeeper-3.5.2’ >> /etc/profile

echo ‘export PATH=ZOOKEEPER H OME/bin: PATH’ >> /etc/profile

echo ‘export CLASSPATH=.:$ZOOKEEPER_HOME/lib’ >> /etc/profile

source /etc/profile

3.3.5.1 建立 zookeeper 相關檔案

建立 zookeeper 需要的相關目錄
mkdir -p /home/jstorm/jstorm/zookeeper_data
chown -R jstorm:jstorm /home/jstorm/jstorm

3.3.5.2 修改 zookeeper 配置檔案

備份 zookeeper 的配置檔案
cp -f /opt/zookeeper-3.5.2/conf/zoo_sample.cfg /opt/zookeeper-3.5.2/conf/zoo_sample.cfg.bak

mv /opt/zookeeper-3.5.2/conf/zoo_sample.cfg /opt/zookeeper-3.5.2/conf/zoo.cfg

修改 zookeeper 資料檔案的位置

sed -i ‘s/dataDir=\/tmp\/zookeeper/dataDir=\/home\/jstorm\/jstorm\/zookeeper_data\//g’ /opt/zookeeper-3.5.2/conf/zoo.cfg

echo ‘# zookeeper cluster mathines’ >> /opt/zookeeper-3.5.2/conf/zoo.cfg

echo ‘server.1=192.168.174.200:2888:3888’ >> /opt/zookeeper-3.5.2/conf/zoo.cfg

echo ‘server.2=192.168.174.201:2888:3888’ >> /opt/zookeeper-3.5.2/conf/zoo.cfg

echo ‘server.3=192.168.174.202:2888:3888’ >> /opt/zookeeper-3.5.2/conf/zoo.cfg

3.3.6 安裝 jstrom

cd /opt

unzip jstorm-2.1.1.zip -d /opt/

3.3.6.1配置 jstorm 環境

echo ‘# jstorm confguraton ’ >> /etc/profile

echo ‘export JSTORM_HOME=/opt/jstorm-2.1.1’ >> /etc/profile

echo ‘export PATH=JSTORM H OME/bin: PATH’ >> /etc/profile

source /etc/profile

3.3.6.2建立 jstorm 資料存放需要的檔案

mkdir -p /home/jstorm/jstorm/jstorm_data

chown -R jstorm:jstorm /home/jstorm/jstorm

3.3.6.3修改 jstorm配置檔案

配置$JSTORM_HOME/conf/storm.yaml

sed -i ‘/localhost”$/’d /opt/jstorm-2.1.1/conf/storm.yaml

sed -i /’storm.zookeeper.servers:/a\ - “192.168.174.200”’ /opt/jstorm-2.1.1/conf/storm.yaml

sed -i /’storm.zookeeper.servers:/a\ - “192.168.174.201”’ /opt/jstorm-2.1.1/conf/storm.yaml

sed -i /’storm.zookeeper.servers:/a\ - “192.168.174.202”’ /opt/jstorm-2.1.1/conf/storm.yaml

sed -i ‘s/%JSTORM_HOME%\/data/\/home\/jstorm\/jstorm\/jstorm_data/g’ /opt/jstorm-2.1.1/conf/storm.yaml

sed -i /’storm.zookeeper.root/a\ nimbus.host: “192.168.174.200”’ /opt/jstorm-2.1.1/conf/storm.yaml

3.3.7 安裝 tomcat

cd /opt
tar -zxf apache-tomcat-8.5.13.tar.gz
cd /opt/apache-tomcat-8.5.13
chmod +x bin/*.sh

3.3.8建立到 jstorm UI 的軟連線

cd /opt/apache-tomcat-8.5.13/webapps

cp /opt/jstorm-2.1.1/jstorm-ui-2.1.1.war /opt/apache-tomcat-8.5.13/webapps

mv ROOT ROOT.old

ln -s jstorm-ui-2.1.1 ROOT

3.3.8 修改檔案所屬組
cd /opt

chown -R jstorm:jstorm apache-tomcat-8.5.13

chown -R jstorm:jstorm jstorm-2.1.1

chown -R jstorm:jstorm zookeeper-3.5.2

chown -R jstorm:jstorm /home/jstorm/jstorm

3.3.9編輯/etc/hostname檔案

vi /etc/hostname

jstorm01

3.3.10編輯/etc/hosts檔案

192.168.174.200 jstorm01

192.168.174.201 jstorm02

192.168.174.202 jstorm03

3.3.11建立.jstrom的資料夾(切換到jstorm使用者)

su – jstorm

mkdir ~/.jstorm

cp -f /opt/jstorm-2.1.1/conf/storm.yaml ~/.jstorm

3.4 克隆機器

關閉機器，以 jstorm01 為藍本克隆 jstorm02\jstorm03，以下為克隆 jstorm02 的操作步驟，克隆 jstorm03步驟類似




克隆完 jstorm02 和 jstorm03 之後的截圖如下

3.5 編輯虛擬機器裝置

分別選中左邊的 jstorm02 和 jstorm03，進行“編輯虛擬機器裝置”操作，以操作 jstorm02 為例

3.6 修改虛擬機器配置

3.6.1 修改jstorm02

啟動 jstorm02，修改網絡卡、hostname、host，具體步驟如下
1)vi /etc/hostname
jstorm02

2)vi /etc/sysconfig/network-scripts/ifcfg-ens32(不同機器的配置檔名可能不同)

修改之後重啟機器。

3.6.2 修改jstorm03

啟動 jstorm03，修改網絡卡、hostname、host，具體步驟如下
1)vi /etc/hostname
jstorm03

2)vi /etc/sysconfig/network-scripts/ifcfg-ens32(不同機器的配置檔名可能不同)

3.6.3 修改 jstorm01

啟動 jstorm01
1)vi /etc/hostname
jstorm01

3.7 建立 zookeeper 所需的 ID 檔案(jstorm使用者操作)

為方便操作，用 putty 連線 jstrom01、jstorm02 和 jstorm03
為 zookeeper 建立 myid 檔案，每個虛擬機器都要操作
su – jstorm

jstorm01 機器上執行：
echo ‘1’ >> /home/jstorm/jstorm/zookeeper_data/myid
jstorm02 機器上執行：
echo ‘2’ >> /home/jstorm/jstorm/zookeeper_data/myid
jstorm03 機器上執行：
echo ‘3’ >> /home/jstorm/jstorm/zookeeper_data/myid

3.8 建立各機器 SSH 免密碼(jstorm使用者操作)

3.8.1 各機器都操作

建立 ssh 免密碼登入，在三臺虛擬機器上分別以 jstorm 使用者登入，進行如下操作：
mkdir /home/jstorm/.ssh

chmod -R 700 /home/jstorm/.ssh

cd .ssh

ssh-keygen -t rsa

3.8.2 在 jstorm02 和 jstorm03 上操作

使用 jstorm 賬戶，在 jstorm02 和 jstorm03 上分別執行如下命令：

3.8.2.1 操作 jstorm02

cd .ssh

scp id_rsa.pub [email protected]:/home/jstorm/.ssh/id_rsa.pub.jstorm02

3.8.2.2 操作 jstorm03

cd .ssh

scp id_rsa.pub [email protected]:/home/jstorm/.ssh/id_rsa.pub.jstorm03

3.8.2.3 操作 jstorm01

使用 jstorm 賬戶在 jstorm01 虛擬機器上進行操作
cd /home/jstorm/.ssh/
ll
cat id_rsa.pub >> authorized_keys

cat id_rsa.pub.jstorm02 >> authorized_keys

cat id_rsa.pub.jstorm03 >> authorized_keys

chmod 600 ~/.ssh/authorized_keys

將 jstorm01 虛擬機器上的 authorized_keys 同步至 jstorm02 和 jstorm03

scp ~/.ssh/authorized_keys [email protected]:/home/jstorm/.ssh/authorized_keys

scp ~/.ssh/authorized_keys [email protected]torm03:/home/jstorm/.ssh/authorized_keys

3.8.3 測試 ssh 免密碼互通

Jstorm01 免密碼訪問 jstorm02 和 jstorm03

Jstorm02 免密碼訪問 jstorm01 和 jstorm03

Jstorm03 免密碼訪問 jstorm01 和 jstorm02

3.9 啟動 zookeeper

使用 jstorm，在三臺虛擬機器上啟動 zookeeper
cd /opt/zookeeper-3.5.2/bin

./zkServer.sh start

./zkServer.sh status



3.10 啟動 jstorm

這時，我們可以啟動 jstorm 了

3.10.1 操作 jstorm01

cd /opt/jstorm-2.1.1/bin/
./jstorm nimbus >/dev/null 2>&1 &

3.10.2 操作 jstorm02 和 jstorm03

cd /opt/jstorm-2.1.1/bin/
./jstorm supervisor >/dev/null 2>&1 &

3.10.3 檢視執行狀態

jps 檢視執行檢視執行狀態



3.11 啟動 jstorm UI

我們可以通過訪問 jstorm UI 來檢視具體資訊
啟動 jstorm01虛擬機器的 tomcat
cd /opt/apache-tomcat-8.5.13/bin

./startup.sh
此時，我們通過訪問 htp://192.168.174.200:8080 檢視 jstorm 介面

奇怪，怎麼沒有看見頁面呢？看一下tomcat日誌吧

cd /opt/apache-tomcat-8.5.13/logs

more catalina.2017-04-18.log

8080埠被佔用了，那就修改一下server.xml的埠吧，我改成了9000，你們隨意！

vi /opt/apache-tomcat-8.5.13/conf/server.xml

再次啟動tomcat，訪問htp://192.168.174.200:9000