1. 程式人生 > >MQ與kafka之間的對比

MQ與kafka之間的對比

1.是否遵守JMS規範

MQ遵守了jms規範,kafka沒有遵循jms規範。kafka利用檔案系統來管理訊息的生命週期

2. 吞吐量

kafka是順序寫磁碟,因此效率非常高。Kafka基於時間或者partition的大小來刪除訊息,同時broker是無狀態的,consumer的消費狀態(offset)是由consumer自己控制的(每一個consumer例項只會消費某一個或多個特定partition的資料,而某個partition的資料只會被某一個特定的consumer例項所消費),也不需要broker通過鎖機制去控制訊息的消費,所以吞吐量驚人,這也是Kafka吸引人的地方。

kafka支援高吞吐率,即使在非常廉價的商用機器上也能做到單機支援每秒100K條以上訊息的傳輸。

MQ的吞吐量各有不同,但是跟kafka比,還是有一定差距。

3. 抗壓性

kafka在大資料量下依然保持O(1)的方式提供訊息持久化能力,即使對TB級以上資料也能保證常數時間複雜度的訪問效能。而MQ則會出現效能下降。

4. 是否支援離線資料處理和實時資料處理

kafka同時支援離線資料處理和實時資料處理。

5. 擴充套件性比較

kafka支援線上水平擴充套件

6. 訊息安全性

kafka可以保證在絕大多數情況下訊息的安全性。當訊息算作commit的時候才會暴露給consumer,並保證at-least-once的投遞原則。

7. 可用性,穩定容錯性

Kafka天然支援HA,leader掛了,follower自動選舉出新的leader。

8.

相關推薦

MQkafka之間對比

1.是否遵守JMS規範 MQ遵守了jms規範,kafka沒有遵循jms規範。kafka利用檔案系統來管理訊息的生命週期 2. 吞吐量 kafka是順序寫磁碟,因此效率非常高。Kafka基於時間或者partition的大小來刪除訊息,同時broker是無狀態的,consume

Flume概念原理、Kafka優勢對比

1 .背景      flume是由cloudera軟體公司產出的可分散式日誌收集系統,後與2009年被捐贈了apache軟體基金會,為hadoop相關元件之一。尤其近幾年隨著flume的不斷被完善以及

RabbitMQKafka選型對比

背景   本公司是.Net專案,在.Net可選的MQ比較少,主要Kafka和RabbitMQ,RabbitMQ我也是使用多年了,最近的Kafka廣告與流行度我也是無法無視,因此也是花了點時間收集了資料做了些對比。   此外有個小插曲,當我形成了文件讓老闆兼CTO對比決策後,他打算上阿里雲買MQ服務。我當時給他

訊息佇列MQ選型 - Kafka、RabbitMQ對比

image.png 適應場景 非同步處理,應用解耦,流量削鋒和訊息通訊 對比 feature scenario Kafka RabbitMQ 備註 PUB-SUB 釋出訂閱模型

訊息中介軟體選型分析 —— 從 Kafka RabbitMQ 的對比來看全域性

一、前言 二、各類訊息佇列簡述 三、選型要點概述 四、訊息中介軟體選型誤區探討 一、前言 訊息佇列中介軟體(簡稱訊息中介軟體)是指利用高效可靠的訊息傳遞機制進行與平臺無關的資料交流,並基於資料通訊來進行分散式系統的整合。通過提供訊息傳遞

RocketMQKafka對比(18項差異)評價版

RocketMQ與Kafka對比(18項差異) 2015-02-28 王啟軍 奔跑中的蝸牛 此文是rocketmq作者vintage.wang所寫,對於每項對比,後面都增加了我的觀點,有不對的地方,請各位指出。 淘寶內部的交

HEVCVP9之間對比

在streamingmedia上看到的一篇對比HEVC與VP9的文章,挺不錯。另外這邊文章的幾個comment也是不錯的。下面是全文。The Great UHD Codec Debate: Google's VP9 Vs. HEVC/H.265As of today, the great UHD codec

訊息中介軟體選型分析——從KafkaRabbitMQ的對比來看全域性

本文收錄於InfoQ,未經允許不得轉載。 一、前言 訊息佇列中介軟體(簡稱訊息中介軟體)是指利用高效可靠的訊息傳遞機制進行與平臺無關的資料交流,並基於資料通訊來進行分散式系統的整合。通過提供訊息傳遞和訊息排隊模型,它可以在分散式環境下提供應用解耦、彈性伸縮、

RabbitMQKAFKA還有ActiveMQ的對比

簡單的對比三種生產上常用的MQ,提到這三種肯定很多人都使用過,下面針對他們的使用來做個對比。 ActiveMQ 作為老牌的訊息佇列中介軟體,只要使用在併發場景不是特別大的情況下,效能是非常好的,而且支援JMS規範。 而在叢集方面一般採用的是zookeeper來進行心跳檢查,主從的架構,

jBPM5Activiti之間的差異對比

jBPM是目前市場上主流開源工作引擎之一,在建立者Tom Baeyens離開JBoss後,jBPM的下一個版本jBPM5完全放棄了jBPM4的基礎程式碼,基於Drools Flow重頭來過,目前官網已經推出了jBPM6的beta版本;Tom Baeyens加入Alfresco

RocketMQkafka對比

       淘寶內部的交易系統使用了淘寶自主研發的Notify訊息中介軟體,使用Mysql作為訊息儲存媒介,可完全水平擴容,為了進一步降低成本,我們認為儲存部分可以進一步優化,2011年初,Linkin開源了Kafka這個優秀的訊息中介軟體,淘寶中介軟體團隊在對Kafk

RocketMQKafka對比(18項差異)

轉自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka 淘寶內部的交易系統使用了淘寶自主研發的Notify訊息中介軟體,使用Mysql作為訊息儲存媒介,可完全水平擴容,為了進一步降低成本,我們認為儲存部分可以進一

傳統Active MQ大資料下的分散式Kafka

本人在Zuora工作的時候,幾乎所有的非同步業務邏輯都使用ActiveMQ,對AMQ也算頗為熟悉。現如今每天和Kafka打交道,對kafka也算駕馭的不錯。現在基於這兩者做個小比較。 首先,Active MQ與Kafka的相同點只有一個,就是都是訊息中介軟體。其他沒有

Struts2Struts1之間的區別和對比

本文要解決的問題: 從各方面比較Struts2與Struts1之間的區別。 1、Action 類:   Struts1要求Action類繼承一個抽象基類。Struts1的一個普遍問題是使用抽象類程式設計而不是介面。  Struts2 Action類可以實現一個Action

MQTTkafka對比分析

本人的公司內部分享,分享給大家。上面是圖片版,下面是文字表格 1.名稱 MQTT kafka 2.歷史 IBM推出的一種針對移動終端裝置的釋出/預訂協議。 Link

虛擬機window7主機之間文件復制設置

com 主機 mage http logs tools 點擊 war 9.png 一、需要安裝VMware Tools 選中虛擬機》虛擬機》安裝VMware Tools 一直點擊下一步直至完成 虛擬機window7與主機之間文件復制設置

githubgit之間怎麽建立連接

目錄 是什麽 git bash 接下來 -c bash命令 配置 引號 keygen   git是一款強大的分布式版本控制系統,到底是什麽意思呢?其實我也不知道,以後知道了再補上吧。下面咱們來講一下github怎麽與你電腦上的git建立起連接關系。   一、你要有一個gi

String、StringBufferStringBuilder之間區別 .RP

什麽 方式 tr1 abcd 為什麽 mes strong 速度 一點   最近學習到StringBuffer,心中有好些疑問,搜索了一些關於String,StringBuffer,StringBuilder的東西,現在整理一下。 關於這三個類在字符串處理中的位置不言而喻,

RGBHSV之間的轉換公式及顏色表

bsp 公式 blog log b- size 分享 ont idt RGB & HSV 英文全稱  RGB - Red, Green, Blue  HSV - Hue, Saturation, Value HSV --> RGB 轉換公式 HSV --&g

Atitit 項目版本管理gitflow Forking的對比使用

bug 轉載 優點 last href 開源項目 rac 重要 易懂 Atitit 項目版本管理gitflow 與 Forking的對比與使用 1.1. 版本管理的歷史 csv>>svn >git 1 1.2. gitflow的核心是分版本管理,f