MQ與kafka之間的對比
1.是否遵守JMS規範
MQ遵守了jms規範,kafka沒有遵循jms規範。kafka利用檔案系統來管理訊息的生命週期
2. 吞吐量
kafka是順序寫磁碟,因此效率非常高。Kafka基於時間或者partition的大小來刪除訊息,同時broker是無狀態的,consumer的消費狀態(offset)是由consumer自己控制的(每一個consumer例項只會消費某一個或多個特定partition的資料,而某個partition的資料只會被某一個特定的consumer例項所消費),也不需要broker通過鎖機制去控制訊息的消費,所以吞吐量驚人,這也是Kafka吸引人的地方。
kafka支援高吞吐率,即使在非常廉價的商用機器上也能做到單機支援每秒100K條以上訊息的傳輸。
MQ的吞吐量各有不同,但是跟kafka比,還是有一定差距。
3. 抗壓性
kafka在大資料量下依然保持O(1)的方式提供訊息持久化能力,即使對TB級以上資料也能保證常數時間複雜度的訪問效能。而MQ則會出現效能下降。
4. 是否支援離線資料處理和實時資料處理
kafka同時支援離線資料處理和實時資料處理。
5. 擴充套件性比較
kafka支援線上水平擴充套件
6. 訊息安全性
kafka可以保證在絕大多數情況下訊息的安全性。當訊息算作commit的時候才會暴露給consumer,並保證at-least-once的投遞原則。
7. 可用性,穩定容錯性
Kafka天然支援HA,leader掛了,follower自動選舉出新的leader。
8.
相關推薦
MQ與kafka之間的對比
1.是否遵守JMS規範 MQ遵守了jms規範,kafka沒有遵循jms規範。kafka利用檔案系統來管理訊息的生命週期 2. 吞吐量 kafka是順序寫磁碟,因此效率非常高。Kafka基於時間或者partition的大小來刪除訊息,同時broker是無狀態的,consume
Flume概念與原理、與Kafka優勢對比
1 .背景 flume是由cloudera軟體公司產出的可分散式日誌收集系統,後與2009年被捐贈了apache軟體基金會,為hadoop相關元件之一。尤其近幾年隨著flume的不斷被完善以及
RabbitMQ與Kafka選型對比
背景 本公司是.Net專案,在.Net可選的MQ比較少,主要Kafka和RabbitMQ,RabbitMQ我也是使用多年了,最近的Kafka廣告與流行度我也是無法無視,因此也是花了點時間收集了資料做了些對比。 此外有個小插曲,當我形成了文件讓老闆兼CTO對比決策後,他打算上阿里雲買MQ服務。我當時給他
訊息佇列MQ選型 - Kafka、RabbitMQ對比
image.png 適應場景 非同步處理,應用解耦,流量削鋒和訊息通訊 對比 feature scenario Kafka RabbitMQ 備註 PUB-SUB 釋出訂閱模型
訊息中介軟體選型分析 —— 從 Kafka 與 RabbitMQ 的對比來看全域性
一、前言 二、各類訊息佇列簡述 三、選型要點概述 四、訊息中介軟體選型誤區探討 一、前言 訊息佇列中介軟體(簡稱訊息中介軟體)是指利用高效可靠的訊息傳遞機制進行與平臺無關的資料交流,並基於資料通訊來進行分散式系統的整合。通過提供訊息傳遞
RocketMQ與Kafka對比(18項差異)評價版
RocketMQ與Kafka對比(18項差異) 2015-02-28 王啟軍 奔跑中的蝸牛 此文是rocketmq作者vintage.wang所寫,對於每項對比,後面都增加了我的觀點,有不對的地方,請各位指出。 淘寶內部的交
HEVC與VP9之間的對比
在streamingmedia上看到的一篇對比HEVC與VP9的文章,挺不錯。另外這邊文章的幾個comment也是不錯的。下面是全文。The Great UHD Codec Debate: Google's VP9 Vs. HEVC/H.265As of today, the great UHD codec
訊息中介軟體選型分析——從Kafka與RabbitMQ的對比來看全域性
本文收錄於InfoQ,未經允許不得轉載。 一、前言 訊息佇列中介軟體(簡稱訊息中介軟體)是指利用高效可靠的訊息傳遞機制進行與平臺無關的資料交流,並基於資料通訊來進行分散式系統的整合。通過提供訊息傳遞和訊息排隊模型,它可以在分散式環境下提供應用解耦、彈性伸縮、
RabbitMQ與KAFKA還有ActiveMQ的對比
簡單的對比三種生產上常用的MQ,提到這三種肯定很多人都使用過,下面針對他們的使用來做個對比。 ActiveMQ 作為老牌的訊息佇列中介軟體,只要使用在併發場景不是特別大的情況下,效能是非常好的,而且支援JMS規範。 而在叢集方面一般採用的是zookeeper來進行心跳檢查,主從的架構,
jBPM5與Activiti之間的差異對比
jBPM是目前市場上主流開源工作引擎之一,在建立者Tom Baeyens離開JBoss後,jBPM的下一個版本jBPM5完全放棄了jBPM4的基礎程式碼,基於Drools Flow重頭來過,目前官網已經推出了jBPM6的beta版本;Tom Baeyens加入Alfresco
RocketMQ與kafka對比
淘寶內部的交易系統使用了淘寶自主研發的Notify訊息中介軟體,使用Mysql作為訊息儲存媒介,可完全水平擴容,為了進一步降低成本,我們認為儲存部分可以進一步優化,2011年初,Linkin開源了Kafka這個優秀的訊息中介軟體,淘寶中介軟體團隊在對Kafk
RocketMQ與Kafka對比(18項差異)
轉自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka 淘寶內部的交易系統使用了淘寶自主研發的Notify訊息中介軟體,使用Mysql作為訊息儲存媒介,可完全水平擴容,為了進一步降低成本,我們認為儲存部分可以進一
傳統Active MQ與大資料下的分散式Kafka
本人在Zuora工作的時候,幾乎所有的非同步業務邏輯都使用ActiveMQ,對AMQ也算頗為熟悉。現如今每天和Kafka打交道,對kafka也算駕馭的不錯。現在基於這兩者做個小比較。 首先,Active MQ與Kafka的相同點只有一個,就是都是訊息中介軟體。其他沒有
Struts2與Struts1之間的區別和對比
本文要解決的問題: 從各方面比較Struts2與Struts1之間的區別。 1、Action 類: Struts1要求Action類繼承一個抽象基類。Struts1的一個普遍問題是使用抽象類程式設計而不是介面。 Struts2 Action類可以實現一個Action
MQTT與kafka對比分析
本人的公司內部分享,分享給大家。上面是圖片版,下面是文字表格 1.名稱 MQTT kafka 2.歷史 IBM推出的一種針對移動終端裝置的釋出/預訂協議。 Link
虛擬機window7與主機之間文件復制設置
com 主機 mage http logs tools 點擊 war 9.png 一、需要安裝VMware Tools 選中虛擬機》虛擬機》安裝VMware Tools 一直點擊下一步直至完成 虛擬機window7與主機之間文件復制設置
github與git之間怎麽建立連接
目錄 是什麽 git bash 接下來 -c bash命令 配置 引號 keygen git是一款強大的分布式版本控制系統,到底是什麽意思呢?其實我也不知道,以後知道了再補上吧。下面咱們來講一下github怎麽與你電腦上的git建立起連接關系。 一、你要有一個gi
String、StringBuffer與StringBuilder之間區別 .RP
什麽 方式 tr1 abcd 為什麽 mes strong 速度 一點 最近學習到StringBuffer,心中有好些疑問,搜索了一些關於String,StringBuffer,StringBuilder的東西,現在整理一下。 關於這三個類在字符串處理中的位置不言而喻,
RGB與HSV之間的轉換公式及顏色表
bsp 公式 blog log b- size 分享 ont idt RGB & HSV 英文全稱 RGB - Red, Green, Blue HSV - Hue, Saturation, Value HSV --> RGB 轉換公式 HSV --&g
Atitit 項目版本管理gitflow 與 Forking的對比與使用
bug 轉載 優點 last href 開源項目 rac 重要 易懂 Atitit 項目版本管理gitflow 與 Forking的對比與使用 1.1. 版本管理的歷史 csv>>svn >git 1 1.2. gitflow的核心是分版本管理,f