1 安裝zookeeper

    zookeeper是一個分散式協作的Apache hadoop專案，它提供了分散式同步，選舉leader等功能，解決了分散式應用中的資料管理問題。

sudo tar -C /opt -zxvf zookeeper-3.4.9.tar.gz

• 在/etc/profile新建環境變數

export ZK_HOME=/opt/zookeeper-3.4.9
export PATH=$ZK_HOME/bin:$JAVA_HOME/bin:$MYSQL_HOME/bin:$TOMCAT_HOME/bin:$SQLITE_HOME/bin:$M2_HOME/bin:$PATH
 

    要使得該環境變數生效，則必須在當前終端下執行

source /etc/profile

• 修改zookeeper的配置檔案
      zookeeper的預設配置檔案是$ZK_HOME/conf/zoo.cfg。但是tarball只提供了zoo_sample.cfg的樣例，我們必須新增這個配置檔案。

cd $ZK_HOME/conf
sudo cp zoo_sample.cfg zoo.cfg

    我們當然可以使用上面的預設配置，而且該配置就足夠了。我個人修改zoo.cfg的dataDir，讀者可以根據自己的喜好修改。

dataDir=/var/zookeeper

    這時就要建立該目錄，而且要修改許可權，使得當前使用者能夠在該目錄下建立檔案。

sudo mkdir /var/zookeeper
sudo chmod a+w /var/zookeeper

    注意，這裡a不能省略，否則other可能仍然沒有寫許可權。

• 啟動和停止zookeeper

zkServer.sh start
zkServer.sh stop

2 安裝storm

    nimbus和supervisor上都必須安裝storm依賴庫，然後再安裝storm。zeromq提供分散式環境下的傳輸層的通訊機制，是一個網路庫。但是0.9的storm使用了Netty。jzmq是zeromq的Java繫結。

2.1 安裝依賴庫

tar -C /tmp -zxvf zeromq-4.0
 
.3.tar.gz
cd /tmp/zeromq-4.0.3
./configure
make
sudo make install

    如果make出錯，可能要建立一些檔案。同時還要安裝一些工具，如libtool。

• 安裝jzmq
      安裝過程和上述類似。下載jzmq.tgz。

tar -C /tmp -zxvf jzmq.tgz
cd /tmp/jzmq
./autogen.sh
./configure
make
sudo make install

2.2 安裝storm

    storm的安裝與zookeeper的安裝十分類似。storm是一個實時大資料處理框架，具有容錯性，易於擴充套件等優點。它支援本地模式和遠端模式，在本地模式下可以進行開發和測試，而遠端模式是生產模式，將拓撲提交到storm叢集中。但它只有一個nimbus節點（主節點，守護程序），支援多個supervisor節點（工作節點，守護程序），中間通過多個zookeeper節點來儲存分散式的資訊。一個supervisor節點可以可能有4個work節點，而一個worker節點是一個java程序，裡面將執行多個executor執行緒，也就是task，一般是spout或者bolt。

sudo tar -C /opt -zxvf apache-storm-0.9.5.tar.gz

• 在/etc/profile新建環境變數

export STORM_HOME=/opt/apache-storm-0.9.5
export PATH=$STORM_HOME/bin:$ZK_HOME/bin:$JAVA_HOME/bin:$MYSQL_HOME/bin:$TOMCAT_HOME/bin:$SQLITE_HOME/bin:$M2_HOME/bin:$PATH

    要使得該環境變數生效，則必須在當前終端下執行

source /etc/profile

• 修改配置檔案storm.yaml
      在$STORM_HOME/conf/storm.yaml最後新增一行

storm.local.dir: "/var/stormData"

    建立/var/stormData

sudo mkdir /var/stormData
sudo chmod a+w /var/stormData

    其他設定將使用/opt/apache-storm-0.9.5/lib/storm-core.0.9.5.jar下的defaults.yaml的配置，也就是預設的庫在/usr/local/lib/，我們手動make的zeromq和jzmq都在這個裡面。這樣配置只能以nimbus啟動，而且zookeeper也在這臺機器上執行（監聽2181埠）。而要以supervisor啟動，則其storm.yaml必須指定nimbus和zookeeper的IP。預設supervisor有4個worker，埠分別是6700 ~ 6703。

# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "192.168.43.209"  #指定zookeeper的IP
#     - "server2"
# 
 nimbus.host: "192.168.43.209"#指定nimbus的IP
# 
# 
# ##### These may optionally be filled in:
#    
## List of custom serializations
# topology.kryo.register:
#     - org.mycompany.MyType
#     - org.mycompany.MyType2: org.mycompany.MyType2Serializer
#
## List of custom kryo decorators
# topology.kryo.decorators:
#     - org.mycompany.MyDecorator
#
## Locations of the drpc servers
# drpc.servers:
#     - "server1"
#     - "server2"

## Metrics Consumers
# topology.metrics.consumer.register:
#   - class: "backtype.storm.metric.LoggingMetricsConsumer"
#     parallelism.hint: 1
#   - class: "org.mycompany.MyMetricsConsumer"
#     parallelism.hint: 1
#     argument:
#       - endpoint: "metrics-collector.mycompany.org"
 storm.local.dir: "/var/stormData"

• 修改logs的許可權
      修改$STORM_HOME/logs的許可權，使得可以建立日誌。

sudo mkdir $STORM_HOME/logs
sudo chmod a+w $STORM_HOME/logs

3 啟動叢集

    一臺機器(假設IP為192.168.43.209)安裝zookeeper和storm，作為nimbus啟動，同時啟動ui服務，使得可以訪問http://192.168.43.209:8080監控topology的狀態：

zkServer.sh start
storm nimbus &
storm ui &

    另一臺機器安裝storm，但必須指定nimbus和zookeeper，如上面的storm.yaml，作為supervisor啟動。啟動如下：

storm supervisor &

    事實上，我們可以把zookeeper和nimbus分開在不同的機器上執行，可以有多臺機器執行zookeeper，可以有多臺機器執行supervisor（只要安裝了storm，並指定nimbus和zookeeper），從而增強平行計算的能力。

4 提交併執行拓撲

    這裡使用單詞計數的程式，但storm的版本必須和安裝的一致，如都是apache-storm-0.9.5。如果依賴和叢集的storm版本不一致，可能會出錯！！！另外，本人在使用apache-storm-1.0.2.tar.gz版本執行不起來，提示缺少backtype，或者出現重複的jar包。所以最後考慮使用apache-storm-0.9.5.tar.gz，在lib/storm-core-0.9.5.jar下有這個java包。
    在執行nimbus的機器下下載StormDemo.tar.gz，並解壓，提交target目錄下的jar。

storm jar target/StormDemo-1.0-SNAPSHOT.jar com.stormdemo.MyTopology 2

    注意，必須在專案的根目錄下執行這個命令，否則會提示找不到主類。另外，com.stormdemo.MyTopology是main入口，而’/home/gua/input.txt’必須在supervisor下存在，因為拓撲會讀取指定的檔案。它儲存的是很多行英文單詞。
    另外，可以停止拓撲的執行：

storm kill 拓撲名