2. 程式人生 > >Storm叢集安裝部署步驟【詳細版】

Storm叢集安裝部署步驟【詳細版】

阿新 • • 發佈：2019-01-10

作者: 大圓那些事 | 文章可以轉載，請以超連結形式標明文章原始出處和作者資訊

本文以Twitter Storm官方Wiki為基礎，詳細描述如何快速搭建一個Storm叢集，其中，專案實踐中遇到的問題及經驗總結，在相應章節以“注意事項”的形式給出。

1. Storm叢集元件

Storm叢集中包含兩類節點：主控節點（Master Node）和工作節點（Work Node）。其分別對應的角色如下：

  • 主控節點（Master Node）上執行一個被稱為Nimbus的後臺程式，它負責在Storm叢集內分發程式碼，分配任務給工作機器，並且負責監控叢集執行狀態。Nimbus的作用類似於Hadoop中JobTracker的角色。
  • 每個工作節點（Work Node）上執行一個被稱為Supervisor的後臺程式。Supervisor負責監聽從Nimbus分配給它執行的任務，據此啟動或停止執行任務的工作程序。每一個工作程序執行一個Topology的子集；一個執行中的Topology由分佈在不同工作節點上的多個工作程序組成。

Storm叢集元件

Nimbus和Supervisor節點之間所有的協調工作是通過Zookeeper叢集來實現的。此外，Nimbus和Supervisor程序都是快速失敗（fail-fast)和無狀態（stateless）的；Storm叢集所有的狀態要麼在Zookeeper叢集中，要麼儲存在本地磁碟上。這意味著你可以用kill -9來殺死Nimbus和Supervisor程序，它們在重啟後可以繼續工作。這個設計使得Storm叢集擁有不可思議的穩定性。

2. 安裝Storm叢集

這一章節將詳細描述如何搭建一個Storm叢集。下面是接下來需要依次完成的安裝步驟：

  • 搭建Zookeeper叢集；
  • 安裝Storm依賴庫；
  • 下載並解壓Storm釋出版本；
  • 修改storm.yaml配置檔案；
  • 啟動Storm各個後臺程序。

2.1 搭建Zookeeper叢集

Storm使用Zookeeper協調叢集，由於Zookeeper並不用於訊息傳遞，所以Storm給Zookeeper帶來的壓力相當低。大多數情況下，單個節點的Zookeeper叢集足夠勝任，不過為了確保故障恢復或者部署大規模Storm叢集，可能需要更大規模節點的Zookeeper叢集（對於Zookeeper叢集的話，官方推薦的最小節點數為3個）。在Zookeeper叢集的每臺機器上完成以下安裝部署步驟：

2）根據Zookeeper叢集的負載情況，合理設定Java堆大小，儘可能避免發生swap，導致Zookeeper效能下降。保守期間，4GB記憶體的機器可以為Zookeeper分配3GB最大堆空間。

4）根據Zookeeper叢集節點情況，建立如下格式的Zookeeper配置檔案zoo.cfg：

複製程式碼 
tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888
複製程式碼

其中，dataDir指定Zookeeper的資料檔案目錄；其中server.id=host:port:port，id是為每個Zookeeper節點的編號，儲存在dataDir目錄下的myid檔案中，zoo1~zoo3表示各個Zookeeper節點的hostname，第一個port是用於連線leader的埠，第二個port是用於leader選舉的埠。

5）在dataDir目錄下建立myid檔案，檔案中只包含一行，且內容為該節點對應的server.id中的id編號。

6）啟動Zookeeper服務：

java -cp zookeeper.jar:lib/log4j-1.2.15.jar:conf \ org.apache.zookeeper.server.quorum.QuorumPeerMain zoo.cfg

也可以通過bin/zkServer.sh指令碼啟動Zookeeper服務。

7）通過Zookeeper客戶端測試服務是否可用：

  • Java客戶端下，執行如下命令：
java -cp zookeeper.jar:src/java/lib/log4j-1.2.15.jar:conf:src/java/lib/jline-0.9.94.jar \ org.apache.zookeeper.ZooKeeperMain -server 127.0.0.1:2181

也可以通過bin/zkCli.sh指令碼啟動Zookeeper Java客戶端。

  • C客戶端下，進入src/c目錄下，編譯單執行緒或多執行緒客戶端：
./configure
make cli_st
make cli_mt

執行進入C客戶端：

cli_st 127.0.0.1:2181
cli_mt 127.0.0.1:2181

至此，完成了Zookeeper叢集的部署與啟動。

注意事項：

  1. 由於Zookeeper是快速失敗（fail-fast)的，且遇到任何錯誤情況，程序均會退出，因此，最好能通過監控程式將Zookeeper管理起來，保證Zookeeper退出後能被自動重啟。詳情參考這裡。
  2. Zookeeper執行過程中會在dataDir目錄下生成很多日誌和快照檔案，而Zookeeper執行程序並不負責定期清理合並這些檔案，導致佔用大量磁碟空間，因此，需要通過cron等方式定期清除沒用的日誌和快照檔案。詳情參考這裡。具體命令格式如下：java -cp zookeeper.jar:log4j.jar:conf org.apache.zookeeper.server.PurgeTxnLog <dataDir> <snapDir> -n <count>

2.2 安裝Storm依賴庫

接下來，需要在Nimbus和Supervisor機器上安裝Storm的依賴庫，具體如下：

  1. ZeroMQ 2.1.7 – 請勿使用2.1.10版本，因為該版本的一些嚴重bug會導致Storm叢集執行時出現奇怪的問題。少數使用者在2.1.7版本會遇到"IllegalArgumentException"的異常，此時降為2.1.4版本可修復這一問題。
  2. JZMQ
  3. Java 6
  4. Python 2.6.6
  5. unzip

以上依賴庫的版本是經過Storm測試的，Storm並不能保證在其他版本的Java或Python庫下可執行。

2.2.1 安裝ZMQ 2.1.7

下載後編譯安裝ZMQ：

複製程式碼 
wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
make
sudo make install
複製程式碼

注意事項：

  1. 如果安裝過程報錯uuid找不到，則通過如下的包安裝uuid庫：
sudo yum install e2fsprogsl  -b current
sudo yum install e2fsprogs-devel  -b current

2.2.2 安裝JZMQ

下載後編譯安裝JZMQ：

複製程式碼 
git clone https://github.com/nathanmarz/jzmq.git
cd jzmq
./autogen.sh
./configure
make
sudo make install
複製程式碼

為了保證JZMQ正常工作，可能需要完成以下配置：

  1. 正確設定 JAVA_HOME環境變數
  2. 安裝Java開發包
  3. 升級autoconf
  4. 如果你是Mac OSX，參考這裡

注意事項：

     1. 如果執行./configure命令出現問題，參考這裡。

2.2.3 安裝Java 6

1. 下載並安裝JDK 6，參考這裡；

2. 配置JAVA_HOME環境變數；

3. 執行java、javac命令，測試java正常安裝。

2.2.4 安裝Python2.6.6

1. 下載Python2.6.6：

wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz2

2. 編譯安裝Python2.6.6：

tar –jxvf Python-2.6.6.tar.bz2
cd Python-2.6.6
./configure
make
make install

3. 測試Python2.6.6：

$ python -V
Python 2.6.6

2.2.5 安裝unzip

1. 如果使用RedHat系列Linux系統，執行以下命令安裝unzip：

apt-get install unzip

2. 如果使用Debian系列Linux系統，執行以下命令安裝unzip：

yum install unzip

2.3 下載並解壓Storm釋出版本

下一步，需要在Nimbus和Supervisor機器上安裝Storm發行版本。

1. 下載Storm發行版本，推薦使用Storm0.8.1：

wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip

2. 解壓到安裝目錄下：

unzip storm-0.8.1.zip

2.4 修改storm.yaml配置檔案

Storm發行版本解壓目錄下有一個conf/storm.yaml檔案，用於配置Storm。預設配置在這裡可以檢視。conf/storm.yaml中的配置選項將覆蓋defaults.yaml中的預設配置。以下配置選項是必須在conf/storm.yaml中進行配置的：

1) storm.zookeeper.servers: Storm叢集使用的Zookeeper叢集地址，其格式如下：

storm.zookeeper.servers:
  - "111.222.333.444"
  - "555.666.777.888"

如果Zookeeper叢集使用的不是預設埠，那麼還需要storm.zookeeper.port選項。

2) storm.local.dir: Nimbus和Supervisor程序用於儲存少量狀態，如jars、confs等的本地磁碟目錄，需要提前建立該目錄並給以足夠的訪問許可權。然後在storm.yaml中配置該目錄，如：

storm.local.dir: "/home/admin/storm/workdir"

3) java.library.path: Storm使用的本地庫（ZMQ和JZMQ）載入路徑，預設為"/usr/local/lib:/opt/local/lib:/usr/lib"，一般來說ZMQ和JZMQ預設安裝在/usr/local/lib 下，因此不需要配置即可。

4) nimbus.host: Storm叢集Nimbus機器地址，各個Supervisor工作節點需要知道哪個機器是Nimbus，以便下載Topologies的jars、confs等檔案，如：

nimbus.host: "111.222.333.444"

5) supervisor.slots.ports: 對於每個Supervisor工作節點，需要配置該工作節點可以執行的worker數量。每個worker佔用一個單獨的埠用於接收訊息，該配置選項即用於定義哪些埠是可被worker使用的。預設情況下，每個節點上可執行4個workers，分別在6700、6701、6702和6703埠，如：

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

2.5 啟動Storm各個後臺程序

最後一步，啟動Storm的所有後臺程序。和Zookeeper一樣，Storm也是快速失敗（fail-fast)的系統，這樣Storm才能在任意時刻被停止，並且當程序重啟後被正確地恢復執行。這也是為什麼Storm不在程序內儲存狀態的原因，即使Nimbus或Supervisors被重啟，執行中的Topologies不會受到影響。

以下是啟動Storm各個後臺程序的方式：

  1. Nimbus: 在Storm主控節點上執行"bin/storm nimbus >/dev/null 2>&1 &"啟動Nimbus後臺程式，並放到後臺執行；
  2. Supervisor: 在Storm各個工作節點上執行"bin/storm supervisor >/dev/null 2>&1 &"啟動Supervisor後臺程式，並放到後臺執行；
  3. UI: 在Storm主控節點上執行"bin/storm ui >/dev/null 2>&1 &"啟動UI後臺程式，並放到後臺執行，啟動後可以通過http://{nimbus host}:8080觀察叢集的worker資源使用情況、Topologies的執行狀態等資訊。

注意事項：

  1. Storm後臺程序被啟動後，將在Storm安裝部署目錄下的logs/子目錄下生成各個程序的日誌檔案。
  2. 經測試，Storm UI必須和Storm Nimbus部署在同一臺機器上，否則UI無法正常工作，因為UI程序會檢查本機是否存在Nimbus連結。
  3. 為了方便使用，可以將bin/storm加入到系統環境變數中。

至此，Storm叢集已經部署、配置完畢，可以向叢集提交拓撲運行了。

3. 向叢集提交任務

1）啟動Storm Topology：

storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3

其中，allmycode.jar是包含Topology實現程式碼的jar包，org.me.MyTopology的main方法是Topology的入口，arg1、arg2和arg3為org.me.MyTopology執行時需要傳入的引數。

2）停止Storm Topology：

storm kill {toponame}

其中，{toponame}為Topology提交到Storm叢集時指定的Topology任務名稱。

4. 參考資料

相關推薦

Storm叢集安裝部署步驟【詳細版】

作者: 大圓那些事 | 文章可以轉載，請以超連結形式標明文章原始出處和作者資訊 本文以Twitter Storm官方Wiki為基礎，詳細描述如何快速搭建一個Storm叢集，其中，專案實踐中遇到的問題及經驗總結，在相應章節以“注意事項”的形式給出。 1. Storm叢集元

從壹開始前後端分離 [ Vue2.0+.NET Core2.1] 二十一║Vue實戰：開發環境搭建【詳細版】

緣起  哈嘍大家好，兜兜轉轉終於來到了Vue實戰環節，前邊的 6 篇關於Vue基礎文章我剛剛簡單看了看，感覺寫的還是不行呀，不是很系統，所以大家可能看上去比較累，還是得抽時間去潤潤色，修改修改語句和樣式，至少也得對得住粉絲哈，應該給部落格園官方提個小建議，要是能允許好友或者其他人修改文章的功能就好了，比如百

Node.js安裝+環境配置【Windows版】

Node.js安裝及環境配置之Windows篇  一、安裝環境 1、本機系統：Windows 10 Pro（64位）2、Node.js：v6.9.2LTS（64位） 二、安裝Node.js步驟 1、下載對應你係統的Node.js版本:https://nodejs.org/en

storm叢集安裝步驟

一、環境準備 storm官方地址：http://storm.apache.org/index.html 下載 http://storm.apache.org/downloads.html 本文版本(apache-storm-1.1.1.tar.gz)

storm(一)叢集安裝部署

1、安裝環境：安裝包：apache-storm-1.1.2.tar.gz機器：10.1.221.223    storm110.1.221.224    storm210.1.221.225    st

HBase 1.2.6 完全分散式叢集安裝部署詳細過程

Apache HBase 是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統，是NoSQL資料庫，基於Google Bigtable思想的開源實現，可在廉價的PC Server上搭建大規模結構化儲存叢集，利用Hadoop HDFS作為其檔案儲存系統，利用Hadoo

softether VPN詳細安裝部署步驟文件

首先登陸國內的網站去下載安裝包，因為國外的你沒VPN之前可能訪問不了http://softether.fishinfo.cn/cn.aspx1.服務端下載注意： 這是安裝伺服器上的，一定要選對不能選錯，不然下載的版本跟系統不匹配！2.客戶端管理工具下載3.客戶端連線工具下載以

Storm叢集安裝配置詳細方法

Storm-0.10.0 叢集安裝和配置         最近要做畢業設計，需要用到storm流式計算架構，工欲善其事必先利其器，第一步當然是配置環境，借鑑師姐的總結加上自己在實戰中的理解，總結出此步驟，如果有錯誤和遺漏請通過 [email protected

Visual Studio 2017 安裝使用教程（詳細版）

系統設置 -s 分享圖片 代碼 ++ 官網下載 studio 題解 微軟官網 Visual Studio 2017 安裝使用教程（詳細） 本人曾因無法使用vs編寫C語言程序痛苦一個月之久，實乃慚愧，後發現不少同學也同樣存在著相同問題，其原因歸結於網上的各種教程

AndroidStudio打包上傳步驟（詳細版）

1.全域性搜尋當前版本號，比如說我的是3.1.9.改成3.2.0 2.改版本號的時候順手改versionCode,原本82，因為要傳新版，所以加一。 3. Build-Generate Sign APK，選則已有的簽名檔案，並輸入密碼。然後到資料夾裡面找就可以了。 (注意：選擇簽

solr叢集安裝部署

一、安裝部署zookeeper叢集 zookeeper叢集 二、solr叢集部署 叢集配置 IP | 節點名稱 | 環境 --- | --- | --- 192.168.137.128 | 192.168.137.128 | jdk1.8, zookeeper3.4.13, solr7.5.0 192.

Redis-3.2.8的叢集安裝部署

一.下載並安裝基礎元件 yum -y install gcc automake autoconf libtool make jemalloc 二.下載redis並解壓安裝 wget http://download.redis.io/relea

spark-2.2.0 叢集安裝部署以及hadoop叢集部署

Spark在生產環境中，主要部署在安裝Linux系統的叢集中。在linux系統中安裝Spark需要預先安裝JDK、Scala等所需要的依賴。 由於Spark是計算框架，所以需要預先在叢集內有搭建好儲存資料的持久化層，如HDFS、Hive、Cassandra等，最後可以通過啟動指令碼執行應用。

Spark2.2.0叢集搭建部署之【SPARK叢集篇】

軟體準備資訊，詳見Spark2.2.0叢集搭建部署之【軟體準備篇】 基礎配置資訊，詳見Spark2.2.0叢集搭建部署之【基礎配置篇】 SSH無密訪問，詳見park2.2.0叢集搭建部署之【無密訪問篇】 HADOOP叢集，詳見Spark2.2.0叢集搭建部署之【HADOOP叢集篇】

Spark2.2.0叢集搭建部署之【HADOOP叢集篇】

軟體準備資訊，詳見Spark2.2.0叢集搭建部署之【軟體準備篇】 基礎配置資訊，詳見Spark2.2.0叢集搭建部署之【基礎配置篇】 SSH無密訪問，詳見park2.2.0叢集搭建部署之【無密訪問篇】 將hadoop-2.7.7.tar.gz 進行解壓 tar -zxvf 

Spark2.2.0叢集搭建部署之【無密訪問篇】

軟體準備資訊，詳見Spark2.2.0叢集搭建部署之【軟體準備篇】 基礎配置資訊，詳見Spark2.2.0叢集搭建部署之【基礎配置篇】 通過SSH無密訪問來達到叢集中機器相互訪問的目的。首先固定機器的ip地址，避免每次重啟機器ip改變的問題。 通過ifconfig命令檢視當前ip地址，若

Spark2.2.0叢集搭建部署之【基礎配置篇】

軟體準備資訊，詳見Spark2.2.0叢集搭建部署之【軟體準備篇】 Spark叢集在生產環境中，主要部署在linux的叢集中，所以需要先安裝JDK，SCALA等基礎配置。 由於Spark是計算框架，所以需要預先在叢集內有搭建好儲存資料的持久化層，如HDFS，最後可以通過啟動指令碼執行應用。

Spark2.2.0叢集搭建部署之【軟體準備篇】

本文主要展示如何在虛擬機器上搭建部署Spark2.2.0的詳細步驟，包括環境安裝、無密登入、Hadoop叢集，Spark叢集。 需要準備的軟體為： VMware-WorkStation CentOS-7-x86_64-DVD-1708.iso jdk-1.8.0-openjdk scala-

python3.基礎爬取網易雲音樂【超詳細版】

簡單學習了python爬蟲之後，我們就可以嘿咻嘿咻了...因為平時就是用網易雲聽的歌，也喜歡看歌裡的評論，所以就爬網易雲音樂評論吧！ 正式進入主題 首先還是去找目標網頁並開始分析網頁結構，如下 上面的三個箭頭都是所要找的資料，分別是評論使用者，評論和點贊數，都可以用正則表示式找出來，接下來繼續找怎樣

Centos7.4 Kubernets1.9叢集安裝部署

一、概述 Master元件： kube-apiserverKubernetes API，叢集的統一入口，各元件協調者，以HTTP API提供介面服務，所有物件資源的增刪改查和監聽操作都交給APIServer處理後再提交給Etcd儲存。kube-controll