實時計算框架Storm本地模式搭建
安裝依賴
通過ubuntu自帶的軟體包管理器安裝java環境。 安裝Java:
$ sudo apt-get install openjdk-7-jdk
檢查是否安裝完成:
$ java -version
檢查python版本:
$ python -V
安裝ZooKeeper
為了避免每次獲取超級許可權重複輸入sudo 臨時進入超級使用者:
$ sudo -s
使用ctrl+d
退出
定位目錄:
# cd /usr/local/src
從阿里的源下載:
# wget http://mirrors.aliyun.com/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
使用命令解壓:
# tar -xzvf zookeeper-3.4.6.tar.gz
進入解壓後的目錄:
# cd zookeeper-3.4.6
從配置檔案模板複製一份配置檔案,這裡無需修改:
# cp conf/zoo_sample.cfg conf/zoo.cfg
環境變數:
# export ZOOKEEPER_HOME=/usr/local/src/zookeeper-3.4.6
環境變數:
# export PATH=$ZOOKEEPER_HOME/bin:$PATH
啟動伺服器:
# ./bin/zkServer.sh start
測試:
# ./bin/zkCli.sh -server 127.0.0.1:2181
安裝Storm
定位目錄:
# cd /usr/local/src
下載(從阿里的源下載0.9.2版本):
# wget http://mirrors.aliyun.com/apache/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz # tar -xzvf apache-storm-0.9.2-incubating.tar.gz # cd ./apache-storm-0.9.2-incubating/
配置storm.yaml:
# vim ./conf/storm.yaml
(這裡我使用vim,也可以使用如何檔案編輯器,複製以下內容到檔案,原先的內容全部註釋)
storm.zookeeper.servers: - "localhost" nimbus.host: "localhost" storm.local.dir : "/var/storm" ui.port : 8080 storm.messaging.transport: "backtype.storm.messaging.netty.Context" #--指定傳輸協議 storm.messaging.netty.server_worker_threads: 1 #--指定netty伺服器工作執行緒數量 storm.messaging.netty.client_worker_threads: 1 #--指定netty客戶端工作執行緒數量 storm.messaging.netty.buffer_size: 5242880 #--指定netty快取大小 storm.messaging.netty.max_retries: 100 #--指定最大重試次數 storm.messaging.netty.max_wait_ms: 1000 #--指定最大等待時間(毫秒) storm.messaging.netty.min_wait_ms: 100 #--指定最小等待時間(毫秒)
後臺(通過命令後加&使程序後臺執行,標準輸出全部進入黑洞/dev/null)啟動Storm服務:
# ./bin/storm nimbus >/dev/null 2>&1 & # ./bin/storm supervisor>/dev/null 2>&1 & # ./bin/storm ui >/dev/null 2>&1 & # ./bin/storm logviewer > /dev/null 2>&1 &
訪問ip:port即可進入Storm UI
-EOF-
相關推薦
實時計算框架Storm本地模式搭建
安裝依賴 通過ubuntu自帶的軟體包管理器安裝java環境。 安裝Java: $ sudo apt-get install openjdk-7-jdk 檢查是否安裝完成: $ java -version 檢查python版本: $ python
[Flink基礎]-- 與其他實時計算框架對比
對比其他計算框架 Spark Storm Flink Streaming Model Micro-batch Native Native
Storm本地模式下的DRPC開發
根據官方文件Local DRPC模式開發可以很容易的寫出程式碼 下面是我執行過的程式碼: package cn.ysjh.drpc; import org.apache.storm.Config; import org.apache.storm.LocalCluster; import o
零基礎搭建自動化測試框架--002本地工程搭建
1:本地安裝eclipse2:eclipse安裝testng外掛3:eclipse配置maven4:安裝Selenium IDE 或者其替換者 Katalon AutomationRecorder 5:建立maven工程6:第一個自動化測試demo一、本地安裝eclipse二
Storm本地模式環境問題
執行從github上把 storm-starter的程式碼 fork下來 https://github.com/nathanmarz/storm-starter 將m2-pom.xml重新命名為pom.xml,編譯一下,匯入eclipse裡 執行第一個例子ExclamationTopology 問題1
實時可靠的開源分散式實時計算系統——Storm
在Hadoop生態圈中,針對大資料進行批量計算時,通常需要一個或者多個MapReduce作業來完成,但這種批量計算方式是滿足不了對實時性要求高的場景。 Storm是一個開源分散式實時計算系統,它可以實時可靠地處理流資料。 Storm特點 在Storm出現之前,進行實時處理是非常痛苦的事情,我們主要的時
分散式流式計算框架 Storm
場景 伴隨著資訊科技日新月異的發展,資訊呈現出爆發式的膨脹,人們獲取資訊的途徑也更加多樣、更加便捷,同時對於資訊的時效性要求也越來越高。舉個搜尋場景中的例子,當一個賣家釋出了一條寶貝資訊時,他希望的當然是這個寶貝馬上就可以被賣家搜尋出來、點選、購買啦,相反,如果這個寶貝要
Hive總結(一)Hive 2.1.0本地模式搭建教程
零.前言 Apache Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單的SQL查詢功能,可以將SQL語句轉換為MapReduce任務進行執行。 其優點是學習成本低,可以通過類SQL語句快速實現簡單的MapRe
可以穿梭時空的實時計算框架——Flink對時間的處理
Flink對於流處理架構的意義十分重要,Kafka讓訊息具有了持久化的能力,而處理資料,甚至穿越時間的能力都要靠Flink來完成。 在Streaming-大資料的未來一文中我們知道,對於流式處理最重要的兩件事,正確性,時間推理工具。而Flink對兩者都有非常好的支援。 Flink對於正確性的保證 對於連續
[開源]CSharpFlink(NET 5.0開發)分散式實時計算框架,PC機10萬資料點秒級計算測試說明
github地址:https://github.com/wxzz/CSharpFlinkgitee地址:https://gitee.com/wxzz/CSharpFlink 參考:[開源地址] 放棄Flink,.NET5.0開發CSharpFlink,簡要設計、部署及二次開發說明。
大資料系列之實時處理Storm(二)Storm的本地模式,叢集模式
我們通過編寫一個呼叫日誌的程式來熟悉一下Storm的本地模式和叢集模式,以及熟悉一下Storm的工作流程,主要實現的功能是統計一個電話給另外一個電話撥打的次數。 1.pom.xml <dependency> <groupId>org.apach
一臉懵逼學習Storm的搭建--(一個開源的分散式實時計算系統)
1:安裝一個zookeeper叢集,之前已經部署過,這裡省略,貼一下步驟; 安裝配置zooekeeper叢集: 1.1:解壓 tar -zxvf zooke
flume+kafka+zookeeper+storm實時計算環境搭建(二)
搭建flume+kafka+storm環境 這裡,我的flume是採集mysql的資料再存入kafka,我用mysql作為我的source,記憶體memory作為channels,kafka作為sink,這個要藉助一個外掛source-ng-sql手機mysql
55.storm 之 hello word(本地模式)
pro collector base 執行 top 命令 type utc isp strom hello word 概述 然後卡一下代碼怎麽實現的: 編寫數據源類:Spout。可以使用兩種方式:繼承BaseRichSpout類實現IRichSpout接口主要需要實現或
Storm集群上的開發 ,本地模式報錯問題(插曲)
img 日誌 eclips -c -a users .com err ssa 打包上傳到集群上跑是沒問題的,在本地模式跑,報客戶端沒有所需特權,此處客戶端指的是MyEclipse,右擊用管理員模式打開myclipse即可。 錯誤日誌 : 4573 [SLOT_1027]
一臉懵逼學習Storm---(一個開源的分布式實時計算系統)
在線 協調 深入 tor grouping 分配 有一點 cbo con 1:什麽是Storm? Storm是一個開源的分布式實時計算系統,可以簡單、可靠的處理大量的數據流。被稱作“實時的hadoop”。Storm有很多使用場景:如實時分析,在線機
storm 流式計算框架
大數據 storm 流式計算 一:storm 簡介 二:storm 的原理與架構 三:storm 的 安裝配置 四:storm 的啟動腳本 一: storm 的簡介: 1.1 storm 是什麽: 1. Storm是Twitter開源的分布式實時大數據處理框架,被業界稱為實時版Hadoo
Storm筆記整理(二):Storm本地開發案例—總和計算與單詞統計
大數據 實時計算 Storm [TOC] 概述 在Strom的API中提供了LocalCluster對象,這樣在不用搭建Storm環境或者Storm集群的情況下也能夠開發Storm的程序,非常方便。 基於Maven構建工程項目,其所需要的依賴如下: <dependency>
【Hadoop 分布式部署 八:分布式協作框架Zookeeper架構功能講解 及本地模式安裝部署和命令使用 】
.gz 權限 實現 creat info 應用 data 就是 數據結構 What is Zookeeper 是一個開源的分布式的,為分布式應用提供協作服務的Apache項目 提供一個簡單的原語集合,以便與分布式應用可以在他之上構建更高層次的同步服務
通過4-Fits原則搭建增長框架:渠道-模式匹配Channel Model Fit
轉自:增長黑客 作者: 席文奕 導讀:本文是“通過4-Fits原則搭建增長框架”的第三個Fit—渠道模式匹配Channel Model Fit。在本文,我想和你闡述的是“渠道-模式匹配Channel Model Fit”到底是什麼。 在《通過4-Fits原則搭建增長框架:為什麼光找到PMF還