大型網站架構之分散式訊息佇列——RabbitMQ
Message Broker與AMQP簡介
Message Broker是一種訊息驗證、傳輸、路由的架構模式,其設計目標主要應用於下面這些場景:
- 訊息路由到一個或多個目的地
- 訊息轉化為其他的表現方式
- 執行訊息的聚集、訊息的分解,並將結果傳送到他們的目的地,然後重新組合相應返回給訊息使用者
- 呼叫Web服務來檢索資料
- 響應事件或錯誤
- 使用釋出-訂閱模式來提供內容或基於主題的訊息路由
AMQP是Advanced Message Queuing Protocol的簡稱,它是一個面向訊息中介軟體的開放式標準應用層協議。AMQP定義了這些特性:
- 訊息方向
- 訊息佇列
- 訊息路由(包括:點到點和釋出-訂閱模式)
- 可靠性
- 安全性
RabbitMQ
本文要介紹的RabbitMQ就是以AMQP協議實現的一種中介軟體產品,它可以支援多種作業系統,多種程式語言,幾乎可以覆蓋所有主流的企業級技術平臺。
安裝
在RabbitMQ官網的下載頁面https://www.rabbitmq.com/download.html中,我們可以獲取到針對各種不同作業系統的安裝包和說明文件。這裡,我們將對幾個常用的平臺一一說明。
下面我們採用的Erlang和RabbitMQ Server版本說明:
- Erlang/OTP 19.1
- RabbitMQ Server 3.6.5
Windows安裝
- 安裝Erland,通過官方下載頁面http://www.erlang.org/downloads獲取exe安裝包,直接開啟並完成安裝。
- 安裝RabbitMQ,通過官方下載頁面https://www.rabbitmq.com/download.html獲取exe安裝包。
- 下載完成後,直接執行安裝程式。
- RabbitMQ Server安裝完成之後,會自動的註冊為服務,並以預設配置啟動起來。
Mac OS X安裝
在Mac OS X中使用brew工具,可以很容易的安裝RabbitMQ的服務端,只需要按如下命令操作即可:
- brew更新到最新版本,執行:brew update
- 安裝Erlang,執行:brew install erlang
- 安裝RabbitMQ Server,執行:brew install rabbitmq
通過上面的命令,RabbitMQ Server的命令會被安裝到/usr/local/sbin,並不會自動加到使用者的環境變數中去,所以我們需要在.bash_profile或.profile檔案中增加下面內容:
PATH=$PATH:/usr/local/sbin
這樣,我們就可以通過rabbitmq-server命令來啟動RabbitMQ的服務端了。
Ubuntu安裝
在Ubuntu中,我們可以使用APT倉庫來進行安裝
- 安裝Erlang,執行:apt-get install erlang
- 執行下面的命令,新增APT倉庫到/etc/apt/sources.list.d
echo 'deb http://www.rabbitmq.com/debian/ testing main' |
sudo tee /etc/apt/sources.list.d/rabbitmq.list
- 更新APT倉庫的package list,執行sudo apt-get update命令
- 安裝Rabbit Server,執行sudo apt-get install rabbitmq-server命令
Rabbit管理
我們可以直接通過配置檔案的訪問進行管理,也可以通過Web的訪問進行管理。下面我們將介紹如何通過Web進行管理。
- 執行rabbitmq-plugins enable rabbitmq_management命令,開啟Web管理外掛,這樣我們就可以通過瀏覽器來進行管理了。
> rabbitmq-plugins enable rabbitmq_management
The following plugins have been enabled:
mochiweb
webmachine
rabbitmq_web_dispatch
amqp_client
rabbitmq_management_agent
rabbitmq_management
Applying plugin configuration to [email protected] started 6 plugins.
- 開啟瀏覽器並訪問:http://localhost:15672/,並使用預設使用者guest登入,密碼也為guest。我們可以看到如下圖的管理頁面:
從圖中,我們可以看到之前章節中提到的一些基本概念,比如:Connections、Channels、Exchanges、Queue等。第一次使用的讀者,可以都點開看看都有些什麼內容,熟悉一下RabbitMQ Server的服務端。
- 點選Admin標籤,在這裡可以進行使用者的管理。
Spring Boot整合
下面,我們通過在Spring Boot應用中整合RabbitMQ,並實現一個簡單的傳送、接收訊息的例子來對RabbitMQ有一個直觀的感受和理解。
在Spring Boot中整合RabbitMQ是一件非常容易的事,因為之前我們已經介紹過Starter POMs,其中的AMQP模組就可以很好的支援RabbitMQ,下面我們就來詳細說說整合過程:
- 新建一個Spring Boot工程,命名為:“rabbitmq-hello”。
- 在pom.xml中引入如下依賴內容,其中spring-boot-starter-amqp用於支援RabbitMQ。
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.cicoding</groupId>
<artifactId>rabbitmq-hello</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>rabbitmq-hello</name>
<description>Demo project for Spring Boot</description>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>1.3.7.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
- 在application.properties中配置關於RabbitMQ的連線和使用者資訊,使用者可以回到上面的安裝內容,在管理頁面中建立使用者。
spring.application.name=rabbitmq-hello
spring.rabbitmq.host=localhost
spring.rabbitmq.port=5672
spring.rabbitmq.username=admin
spring.rabbitmq.password=admin
- 建立訊息生產者Sender。通過注入AmqpTemplate介面的例項來實現訊息的傳送,AmqpTemplate介面定義了一套針對AMQP協議的基礎操作。在Spring Boot中會根據配置來注入其具體實現。在該生產者,我們會產生一個字串,併發送到名為hello的佇列中。
package com.cicoding.rabbit;
import java.util.Date;
import org.springframework.amqp.core.AmqpTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
@Component
public class Sender {
@Autowired
private AmqpTemplate rabbitTemplate;
public void send() {
String context = "hello " + new Date();
System.out.println("Sender : " + context);
this.rabbitTemplate.convertAndSend("hello", context);
}
}
建立訊息消費者Receiver。通過@RabbitListener註解定義該類對hello佇列的監聽,並用@RabbitHandler註解來指定對訊息的處理方法。所以,該消費者實現了對hello佇列的消費,消費操作為輸出訊息的字串內容。
package com.cicoding.rabbit;
import org.springframework.amqp.rabbit.annotation.RabbitHandler;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;
@Component
@RabbitListener(queues = "hello")
public class Receiver {
@RabbitHandler
public void process(String hello) {
System.out.println("Receiver : " + hello);
}
}
- 建立RabbitMQ的配置類RabbitConfig,用來配置佇列、交換器、路由等高階資訊。這裡我們以入門為主,先以最小化的配置來定義,以完成一個基本的生產和消費過程。
package com.cicoding.rabbit;
import org.springframework.amqp.core.Queue;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public class RabbitConfig {
@Bean
public Queue helloQueue() {
return new Queue("hello");
}
}
- 建立應用主類:
@SpringBootApplication
public class HelloApplication {
public static void main(String[] args) {
SpringApplication.run(HelloApplication.class, args);
}
}
- Sender : hello Sun Sep 25 11:06:11 CST 2016建立單元測試類,用來呼叫訊息生產:
@RunWith(SpringJUnit4ClassRunner.class)
@SpringApplicationConfiguration(classes = HelloApplication.class)
public class HelloApplicationTests {
@Autowired
private Sender sender;
@Test
public void hello() throws Exception {
sender.send();
}
}
完成程式編寫之後,下面開始嘗試執行。首先確保RabbitMQ Server已經開始,然後進行下面的操作:
- 啟動應用主類,從控制檯中,我們看到如下內容,程式建立了一個訪問127.0.0.1:5672中springcloud的連線。
o.s.a.r.c.CachingConnectionFactory : Created new connection: [email protected] [delegate=amqp://[email protected]:5672/]
同時,我們通過RabbitMQ的控制面板,可以看到Connection和Channels中包含當前連線的條目。
- 執行單元測試類,我們可以看到控制檯中輸出下面的內容,訊息被髮送到了RabbitMQ Server的hello佇列中。
- 切換到應用主類的控制檯,我們可以看到類似如下輸出,消費者對hello佇列的監聽程式執行了,並輸出了接受到的訊息資訊。
Receiver : hello Sun Sep 25 11:06:11 CST 2016
通過上面的示例,我們在Spring Boot應用中引入spring-boot-starter-amqp模組,進行簡單配置就完成了對RabbitMQ的訊息生產和消費的開發內容。然而在實際應用中,我們還有很多內容沒有演示,這裡不做更多的講解,關於RabbitMQ的深入講解請加群895244712獲得視訊等資料。讀者也可以自行查閱RabbitMQ的官方教程,有更全面的瞭解。
相關推薦
大型網站架構之分散式訊息佇列——RabbitMQ
Message Broker與AMQP簡介 Message Broker是一種訊息驗證、傳輸、路由的架構模式,其設計目標主要應用於下面這些場景: 訊息路由到一個或多個目的地 訊息轉化為其他的表現方式 執行訊息的聚集、訊息的分解,並將結果傳送到他們的目的地,然後重新組合
大型網站架構系列——分散式訊息佇列
轉載自:https://www.cnblogs.com/itfly8/p/5155983.html 訊息佇列概述 訊息佇列使用場景 1、訊息佇列概述: 訊息佇列中介軟體是分散式系統中重要的元件,主要解決 應用耦合,非同步訊息,流量削鋒 等問題。實現高效能,高可用,可伸縮和最終一致性架構。是大型
大型網站架構系列:訊息佇列(二)(轉)
本文是大型網站架構系列:訊息佇列(二),主要分享JMS訊息服務,常用訊息中介軟體(Active MQ,Rabbit MQ,Zero MQ,Kafka)。【第二篇的內容大部分為網路資源的整理和彙總,供大家學習總結使用,最後有文章來源】 本次分享大綱 訊息佇列概述(見第一篇:大型網站架構系列:分散式訊息
大型網站架構之千萬PV之RabbitMQ
內存 col fir ebs bin vim start ofo abd 簡介 MQ全稱為Message Queue, 消息隊列(MQ)是一種應用程序對應用程序的通信方法。應用程序通過讀寫出入隊列的消息(針對應用程序的數據)來通信,而無需專用連接來鏈接它們。消息傳遞指的是
大型網站架構之分布式消息隊列(轉)
工作經驗 大型網站 異步處理 消費 min 實現 通知 ima 可能 以下是消息隊列以下的大綱,本文主要介紹消息隊列概述,消息隊列應用場景和消息中間件示例(電商,日誌系統)。 本次分享大綱 消息隊列概述 消息隊列應用場景 消息中間件示例 JMS消息服務 常用
大型網站架構之分布式消息隊列
並且 other splay 2016年 均衡 tails lin 庫存 寫入 大型網站架構之分布式消息隊列 轉載
中大型網站架構之路一
存儲 cache 查詢 動靜分離 面向服務 keepalive 網站 web 共享存儲 初期: 單臺服務器部署 web與數據庫獨立部署 動靜分離-初期 數據庫主從與查詢緩存 七層負負載均衡和共享存儲 中期: 數據庫架構擴展 soa面向服務器架構
大型網站架構之百萬PV
rop 就是 priority ipaddress -s 模式 lse 故障 shutdown PV(page view)即頁面瀏覽量,通常是衡量一個網絡新聞頻道或網站甚至一條網絡新聞的主要指標。網頁瀏覽數是評價網站流量最常用的指標之一,簡稱為PV。 案例概述本案
大型網站架構之百萬PV網站架構案例
nta java 解壓縮 記錄日誌 tex jsp position .tar.gz 註意 一、案例概述 本案例采用四層模式實現,主要分為前端反向代理、web層、數據庫緩存層和數據庫層。 前端反向代理采用主備模式 web層采用群集模式 數據庫緩存層采用主備模式 數據庫層采
大型網站架構之架構演變
處於這個網際網路開發時代,作為一名軟體工程師,我們經常會聽到大型網站架構這個字眼,那到底什麼是大型網站呢,這樣的網站又是一種什麼樣的架構設計呢?今天我們就開始談談大型網站架構設計系列,首先我們今天講講大型網站架構設計是如何演變的,跟著我一起出發吧。一、大型網站系統的特點高併發
解決分散式系統管理性之分散式訊息佇列應用
什麼是分散式計算?所謂分散式計算是一門電腦科學,它研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分,然後把這些部分分配給許多計算機進行處理,最後把這些計算結果綜合起來得到最終的結果。分散式網路儲存技術是將資料分散的儲存於多臺獨立的機器裝置上。分散式網路儲存系
大型網站架構系列:分散式訊息佇列(一)(轉)
以下是訊息佇列以下的大綱,本文主要介紹訊息佇列概述,訊息佇列應用場景和訊息中介軟體示例(電商,日誌系統)。 本次分享大綱 訊息佇列概述 訊息佇列應用場景 訊息中介軟體示例 JMS訊息服務(見第二篇:大型網站架構系列:分散式訊息佇列(二)) 常用訊息佇列(見第二篇:大型網站架構系列:分
大型網站架構系列:分散式訊息佇列(一)
以下是訊息佇列以下的大綱,本文主要介紹訊息佇列概述,訊息佇列應用場景和訊息中介軟體示例(電商,日誌系統)。 本次分享大綱 一、訊息佇列概述 訊息佇列中介軟體是分散式系統中重要的元件,主要解決應用耦合,非同步訊息,流量削鋒等問題。實現高效能,高可用,可伸縮和最終一致性架構。是大型分散式系統不可缺少的中介軟體。
RabbitMQ系列之七 分散式訊息佇列應用場景之非同步處理、應用解耦、流量削鋒和訊息通訊理解分析
摘要:訊息佇列中介軟體是分散式系統中重要的元件,主要解決應用耦合,非同步訊息,流量削鋒等問題。實現高效能,高可用,可伸縮和最終一致性架構。是大型分散式系統不可缺少的中介軟體。 目前在生產環境,使用較多的訊息佇列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,
(轉載) 中大型網站架構演變之路
分布式文件系統 客戶端 應用層 七層 並發 mysql keepal 接口 mysql主從 標簽:網站架構 大型網站架構 原創作品,允許轉載,轉載時請務必以超鏈接形式標明文章 原始出處 、作者信息和本聲明。否則將追究法律責任。http://lizhenliang
高並發與高可用實戰之基礎知識大型網站架構特征(一)
電商系統 保障系統 iptables ID 失敗重試 容量 設計原則 服務調用 冪等 大型網站架構特征: 1.高並發?(用戶訪問量比較大) 解決方案:拆分系統、服務化、消息中間件、緩存、並發化 高並發設計原則 系統設計不僅需要考慮實現業務功能,還要保證系統高並發、高
千萬PV 網站架構之 RabbitMQ 消息列隊
連接 top -- blog 等等 應用程序 linu 發送 nodes RabbitMQ 簡介 : MQ全稱為Message Queue,消息隊列(MQ)是一種應用程序對應用程序的通信方法。應用程序通過讀寫出入隊列的消息(針對應用程序的數據)來通信,而無需專用連接來鏈接
千萬PV網站架構之RabbitMQ(消息隊列)安裝、集群
-- sha bcd 直接 ssa stop The 節點 tex RabbitMQ介紹: MQ全稱為Message Queue, 消息隊列(MQ)是一種應用程序對應用程序的通信方法。應用程序通過讀寫出入隊列的消息(針對應用程序的數據)來通信,而無需專用連接來鏈接它們。消
Python 訊息佇列rabbitmq使用之工作佇列使用多個worker接收訊息
前面已經介紹過怎麼安裝rabbitmq以及要使用的三方庫 因此這裡直接進入例項 1、釋出端程式碼 # new_task.py import pika # 匯入pika import sys
Python 訊息佇列rabbitmq使用之 更加細緻的 有選擇的 釋出訊息/接收訊息
1、釋出端程式碼 # new_topic_p.py import pika import sys connection = pika.BlockingConnection(pika.Connec