Storm偽分布式搭建
阿新 • • 發佈：2018-07-14
如果 ui界面 per 開啟 inspector 登錄用戶 .exe 功能 orm
配置zookeeper
下載zookeeper tar包
解壓：tar -zxvf zookeeper-3.4.10.tar.gz -C /root/training/
配置
cd /root/training/zookeeper-3.4.10/conf mv zoo_sample.cfg zoo.cfg vim zoo.cfg # 指定zookeeper數據路徑，需要mkdir tmp dataDir=/root/training/zookeeper-3.4.6/tmp # 配置server host port server.1=hdp01:2888:3888 # 如果是集群的話，添加多個server # server.2=hdp02:2888:3888 # 在/root/training/zookeeper-3.4.6/tmp目錄下創建一個myid的空文件 vim myid # 寫入1(與server.1對應)
啟動ZooKeeper和查看ZooKeeper的狀態
zkServer.sh start
zkServer.sh status
# 可借助於ZooInspector工具查看zookeeper數據
jar -jar zookeeper-dev-ZooInspector.jar
如果部署集群的話，直接把zookeeper-3.4.6安裝包scp到其它節點即可。
配置storm
下載storm tar包
解壓：tar -zxvf apache-storm-1.0.3.tar.gz -C /root/training/
設置環境變量 vim ~/.bash_profile(針對當前登錄用戶)，vim /etc/profile(針對所有用戶)
STORM_HOME=/root/training/apache-storm-1.0.3
export STORM_HOME
PATH=$STORM_HOME/bin:$PATH
export PATH
編輯配置文件：$STORM_HOME/conf/storm.yaml
# 指定zookeeper地址，集群的話配置多個server storm.zookeeper.servers: - "hdp00" # - "server2" # storm主節點，多個主節點的話配置多個host nimbus.seeds: ["hdp00"] # 提交的topology都會上傳到該目錄，需要手動創建tmp目錄 storm.local.dir: "/root/training/apache-storm-1.0.3/tmp" # 開啟的槽數量，supervisor上能夠運行workers的端口列表.每個worker占用一個端口,且每個端口只運行一個worker.通過這項配置可以調整每臺機器上運行的worker數.(調整slot數/每機) supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 # 如上註意，-和:之後都有空格;如果要搭建Storm的HA，只需要在nimbus.seeds中設置多個nimbus即可。 #Storm的event logger的功能默認是禁用的，需要在配置文件中設置：topology.eventlogger.executors: 1
啟動storm
storm nimbus &
storm supervisor &
# 在nimbus.host所屬的機器上啟動ui服務;查看storm集群：訪問nimbus.host:/8080，即可看到storm的ui界面
storm ui &
# 啟動日誌查詢 ：host:8000
storm logviewer &
提交任務
提交任務命令格式：storm jar 【jar路徑】 【拓撲包名.拓撲類名】 【拓撲名稱】
Storm偽分布式搭建