1. 程式人生 > >實時計算框架Storm本地模式搭建

實時計算框架Storm本地模式搭建

安裝依賴

通過ubuntu自帶的軟體包管理器安裝java環境。 安裝Java:

$ sudo apt-get install openjdk-7-jdk

檢查是否安裝完成:

$ java -version

1-1

檢查python版本:

$ python -V

1-2

安裝ZooKeeper

為了避免每次獲取超級許可權重複輸入sudo 臨時進入超級使用者:

$ sudo -s

使用ctrl+d退出

定位目錄:

# cd /usr/local/src

從阿里的源下載:

# wget http://mirrors.aliyun.com/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

1-3

使用命令解壓:

# tar -xzvf zookeeper-3.4.6.tar.gz

進入解壓後的目錄:

# cd zookeeper-3.4.6

1-4

從配置檔案模板複製一份配置檔案,這裡無需修改:

# cp conf/zoo_sample.cfg conf/zoo.cfg

環境變數:

# export ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.6

環境變數:

# export PATH=$ZOOKEEPER_HOME/bin:$PATH

啟動伺服器:

# ./bin/zkServer.sh start

測試:

# ./bin/zkCli.sh -server 127.0.0.1:2181

安裝Storm

定位目錄:

# cd /usr/local/src

下載(從阿里的源下載0.9.2版本):

# wget http://mirrors.aliyun.com/apache/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz
# tar -xzvf apache-storm-0.9.2-incubating.tar.gz
# cd ./apache-storm-0.9.2-incubating/

1-5

配置storm.yaml:

# vim ./conf/storm.yaml

(這裡我使用vim,也可以使用如何檔案編輯器,複製以下內容到檔案,原先的內容全部註釋)

storm.zookeeper.servers:
      - "localhost"
nimbus.host: "localhost"
storm.local.dir : "/var/storm"
ui.port : 8080
storm.messaging.transport: "backtype.storm.messaging.netty.Context" #--指定傳輸協議
storm.messaging.netty.server_worker_threads: 1   #--指定netty伺服器工作執行緒數量
storm.messaging.netty.client_worker_threads: 1   #--指定netty客戶端工作執行緒數量
storm.messaging.netty.buffer_size: 5242880    #--指定netty快取大小
storm.messaging.netty.max_retries: 100   #--指定最大重試次數
storm.messaging.netty.max_wait_ms: 1000  #--指定最大等待時間(毫秒)
storm.messaging.netty.min_wait_ms: 100   #--指定最小等待時間(毫秒)

1-6

後臺(通過命令後加&使程序後臺執行,標準輸出全部進入黑洞/dev/null)啟動Storm服務:

# ./bin/storm nimbus >/dev/null 2>&1 &
# ./bin/storm supervisor>/dev/null 2>&1 &
# ./bin/storm ui >/dev/null 2>&1 &
# ./bin/storm logviewer > /dev/null 2>&1 &

訪問ip:port即可進入Storm UI

1-7

-EOF-

相關推薦

實時計算框架Storm本地模式搭建

安裝依賴 通過ubuntu自帶的軟體包管理器安裝java環境。 安裝Java: $ sudo apt-get install openjdk-7-jdk 檢查是否安裝完成: $ java -version 檢查python版本: $ python

[Flink基礎]-- 與其他實時計算框架對比

對比其他計算框架 Spark Storm Flink Streaming Model Micro-batch Native Native

Storm本地模式下的DRPC開發

根據官方文件Local DRPC模式開發可以很容易的寫出程式碼 下面是我執行過的程式碼: package cn.ysjh.drpc; import org.apache.storm.Config; import org.apache.storm.LocalCluster; import o

零基礎搭建自動化測試框架--002本地工程搭建

1:本地安裝eclipse2:eclipse安裝testng外掛3:eclipse配置maven4:安裝Selenium IDE 或者其替換者 Katalon AutomationRecorder 5:建立maven工程6:第一個自動化測試demo一、本地安裝eclipse二

Storm本地模式環境問題

執行從github上把 storm-starter的程式碼 fork下來 https://github.com/nathanmarz/storm-starter 將m2-pom.xml重新命名為pom.xml,編譯一下,匯入eclipse裡 執行第一個例子ExclamationTopology 問題1

實時可靠的開源分散式實時計算系統——Storm

在Hadoop生態圈中,針對大資料進行批量計算時,通常需要一個或者多個MapReduce作業來完成,但這種批量計算方式是滿足不了對實時性要求高的場景。 Storm是一個開源分散式實時計算系統,它可以實時可靠地處理流資料。 Storm特點 在Storm出現之前,進行實時處理是非常痛苦的事情,我們主要的時

分散式流式計算框架 Storm

場景 伴隨著資訊科技日新月異的發展,資訊呈現出爆發式的膨脹,人們獲取資訊的途徑也更加多樣、更加便捷,同時對於資訊的時效性要求也越來越高。舉個搜尋場景中的例子,當一個賣家釋出了一條寶貝資訊時,他希望的當然是這個寶貝馬上就可以被賣家搜尋出來、點選、購買啦,相反,如果這個寶貝要

Hive總結(一)Hive 2.1.0本地模式搭建教程

零.前言 Apache Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單的SQL查詢功能,可以將SQL語句轉換為MapReduce任務進行執行。 其優點是學習成本低,可以通過類SQL語句快速實現簡單的MapRe

可以穿梭時空的實時計算框架——Flink對時間的處理

Flink對於流處理架構的意義十分重要,Kafka讓訊息具有了持久化的能力,而處理資料,甚至穿越時間的能力都要靠Flink來完成。 在Streaming-大資料的未來一文中我們知道,對於流式處理最重要的兩件事,正確性,時間推理工具。而Flink對兩者都有非常好的支援。 Flink對於正確性的保證 對於連續

[開源]CSharpFlink(NET 5.0開發)分散式實時計算框架,PC機10萬資料點秒級計算測試說明

github地址:https://github.com/wxzz/CSharpFlinkgitee地址:https://gitee.com/wxzz/CSharpFlink 參考:[開源地址] 放棄Flink,.NET5.0開發CSharpFlink,簡要設計、部署及二次開發說明。  

大資料系列之實時處理Storm(二)Storm本地模式,叢集模式

我們通過編寫一個呼叫日誌的程式來熟悉一下Storm的本地模式和叢集模式,以及熟悉一下Storm的工作流程,主要實現的功能是統計一個電話給另外一個電話撥打的次數。 1.pom.xml <dependency> <groupId>org.apach

一臉懵逼學習Storm搭建--(一個開源的分散式實時計算系統)

1:安裝一個zookeeper叢集,之前已經部署過,這裡省略,貼一下步驟; 安裝配置zooekeeper叢集:         1.1:解壓             tar -zxvf zooke

flume+kafka+zookeeper+storm實時計算環境搭建(二)

搭建flume+kafka+storm環境 這裡,我的flume是採集mysql的資料再存入kafka,我用mysql作為我的source,記憶體memory作為channels,kafka作為sink,這個要藉助一個外掛source-ng-sql手機mysql

55.storm 之 hello word(本地模式

pro collector base 執行 top 命令 type utc isp strom hello word 概述 然後卡一下代碼怎麽實現的: 編寫數據源類:Spout。可以使用兩種方式:繼承BaseRichSpout類實現IRichSpout接口主要需要實現或

Storm集群上的開發 ,本地模式報錯問題(插曲)

img 日誌 eclips -c -a users .com err ssa 打包上傳到集群上跑是沒問題的,在本地模式跑,報客戶端沒有所需特權,此處客戶端指的是MyEclipse,右擊用管理員模式打開myclipse即可。 錯誤日誌 : 4573 [SLOT_1027]

一臉懵逼學習Storm---(一個開源的分布式實時計算系統)

在線 協調 深入 tor grouping 分配 有一點 cbo con 1:什麽是Storm?  Storm是一個開源的分布式實時計算系統,可以簡單、可靠的處理大量的數據流。被稱作“實時的hadoop”。Storm有很多使用場景:如實時分析,在線機

storm 流式計算框架

大數據 storm 流式計算 一:storm 簡介 二:storm 的原理與架構 三:storm 的 安裝配置 四:storm 的啟動腳本 一: storm 的簡介: 1.1 storm 是什麽: 1. Storm是Twitter開源的分布式實時大數據處理框架,被業界稱為實時版Hadoo

Storm筆記整理(二):Storm本地開發案例—總和計算與單詞統計

大數據 實時計算 Storm [TOC] 概述 在Strom的API中提供了LocalCluster對象,這樣在不用搭建Storm環境或者Storm集群的情況下也能夠開發Storm的程序,非常方便。 基於Maven構建工程項目,其所需要的依賴如下: <dependency>

【Hadoop 分布式部署 八:分布式協作框架Zookeeper架構功能講解 及本地模式安裝部署和命令使用 】

.gz 權限 實現 creat info 應用 data 就是 數據結構 What is Zookeeper     是一個開源的分布式的,為分布式應用提供協作服務的Apache項目     提供一個簡單的原語集合,以便與分布式應用可以在他之上構建更高層次的同步服務

通過4-Fits原則搭建增長框架:渠道-模式匹配Channel Model Fit

轉自:增長黑客 作者: 席文奕 導讀:本文是“通過4-Fits原則搭建增長框架”的第三個Fit—渠道模式匹配Channel Model Fit。在本文,我想和你闡述的是“渠道-模式匹配Channel Model Fit”到底是什麼。 在《通過4-Fits原則搭建增長框架:為什麼光找到PMF還