概述

消息隊列作為高併發系統的核心組件之一，能夠幫助業務系統解構提升開發效率和系統穩定性。主要具有以下優勢：

• 削峰填谷： 主要解決瞬時寫壓力大於應用服務能力導致消息丟失、系統奔潰等問題
• 系統解耦： 解決不同重要程度、不同能力級別系統之間依賴導致一死全死
• 提升性能： 當存在一對多調用時，可以發一條消息給消息系統，讓消息系統通知相關係統
• 蓄流壓測： 線上有些鏈路不好壓測，可以通過堆積一定量消息再放開來壓測

RocketMQ

Apache Alibaba RocketMQ 是一個消息中間件。消息中間件中有兩個角色：消息生產者和消息消費者。RocketMQ 裡同樣有這兩個概念，消息生產者負責創建消息併發送到 RocketMQ 服務器，RocketMQ 服務器會將消息持久化到磁盤，消息消費者從 RocketMQ 服務器拉取消息並提交給應用消費。

RocketMQ 特點

RocketMQ 是一款分佈式、隊列模型的消息中間件，具有以下特點：

• 支持嚴格的消息順序
• 支持 Topic 與 Queue 兩種模式
• 億級消息堆積能力
• 比較友好的分佈式特性
• 同時支持 Push 與 Pull 方式消費消息
• 歷經多次天貓雙十一海量消息考驗

RocketMQ 優勢

目前主流的 MQ 主要是 RocketMQ、kafka、RabbitMQ，其主要優勢有：

• 支持事務型消息（消息發送和 DB 操作保持兩方的最終一致性，RabbitMQ 和 Kafka 不支持）
• 支持結合 RocketMQ 的多個系統之間數據最終一致性（多方事務，二方事務是前提）
• 支持 18 個級別的延遲消息（RabbitMQ 和 Kafka 不支持）
• 支持指定次數和時間間隔的失敗消息重發（Kafka 不支持，RabbitMQ 需要手動確認）
• 支持 Consumer 端 Tag 過濾，減少不必要的網絡傳輸（RabbitMQ 和 Kafka 不支持）
• 支持重複消費（RabbitMQ 不支持，Kafka 支持）

消息隊列對比參照表

基於 Docker 安裝 RocketMQ

docker-compose.yml

注意：啟動 RocketMQ Server + Broker + Console 至少需要 2G 內存

<code>version: '3.5'
services:
  rmqnamesrv:
    image: foxiswho/rocketmq:server
    container_name: rmqnamesrv
    ports:
      - 9876:9876
    volumes:
      - ./data/logs:/opt/logs
      - ./data/store:/opt/store
    networks:
        rmq:
          aliases:
            - rmqnamesrv

  rmqbroker:
    image: foxiswho/rocketmq:broker
    container_name: rmqbroker
    ports:
      - 10909:10909
      - 10911:10911
    volumes:
      - ./data/logs:/opt/logs
      - ./data/store:/opt/store
      - ./data/brokerconf/broker.conf:/etc/rocketmq/broker.conf
    environment:
        NAMESRV_ADDR: "rmqnamesrv:9876"
        JAVA_OPTS: " -Duser.home=/opt"
        JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"
    command: mqbroker -c /etc/rocketmq/broker.conf
    depends_on:
      - rmqnamesrv
    networks:
      rmq:
        aliases:
          - rmqbroker

  rmqconsole:
    image: styletang/rocketmq-console-ng 

    container_name: rmqconsole
    ports:
      - 8080:8080
    environment:
        JAVA_OPTS: "-Drocketmq.namesrv.addr=rmqnamesrv:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false"
    depends_on:
      - rmqnamesrv
    networks:
      rmq:
        aliases:
          - rmqconsole

networks:
  rmq:
    name: rmq
    driver: bridge

/<code>

broker.conf

RocketMQ Broker 需要一個配置文件，按照上面的 Compose 配置，我們需要在 ./data/brokerconf/ 目錄下創建一個名為 broker.conf 的配置文件，內容如下：

<code># Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
#  Unless required by applicable law or agreed to in writing, software
#  distributed under the License is distributed on an "AS IS" BASIS,
#  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
#  See the License for the specific language governing permissions and
#  limitations under the License.

# 所屬集群名字
brokerClusterName=DefaultCluster

# broker 名字，注意此處不同的配置文件填寫的不一樣，如果在 broker-a.properties 使用: broker-a,
# 在 broker-b.properties 使用: broker-b 

brokerName=broker-a

# 0 表示 Master，> 0 表示 Slave
brokerId=0

# nameServer地址，分號分割
# namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

# 啟動IP,如果 docker 報 com.alibaba.rocketmq.remoting.exception.RemotingConnectException: connect to <192.168.0.120:10909> failed
# 解決方式1 加上一句 producer.setVipChannelEnabled(false);，解決方式2 brokerIP1 設置宿主機IP，不要使用docker 內部IP
# brokerIP1=192.168.0.253

# 在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
defaultTopicQueueNums=4

# 是否允許 Broker 自動創建 Topic，建議線下開啟，線上關閉 ！！！這裡仔細看是 false，false，false
autoCreateTopicEnable=true

# 是否允許 Broker 自動創建訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true

# Broker 對外服務的監聽端口
listenPort=10911

# 刪除文件時間點，默認凌晨4點
deleteWhen=04

# 文件保留時間，默認48小時
fileReservedTime=120

# commitLog 每個文件的大小默認1G
mapedFileSizeCommitLog=1073741824

# ConsumeQueue 每個文件默認存 30W 條，根據業務情況調整 

mapedFileSizeConsumeQueue=300000

# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
# 存儲路徑
# storePathRootDir=/home/ztztdata/rocketmq-all-4.1.0-incubating/store
# commitLog 存儲路徑
# storePathCommitLog=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/commitlog
# 消費隊列存儲
# storePathConsumeQueue=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/consumequeue
# 消息索引存儲路徑
# storePathIndex=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/index
# checkpoint 文件存儲路徑
# storeCheckpoint=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/checkpoint
# abort 文件存儲路徑
# abortFile=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/abort
# 限制的消息大小
maxMessageSize=65536

# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000

# Broker 的角色
# - ASYNC_MASTER 異步複製Master
# - SYNC_MASTER 同步雙寫Master
# - SLAVE
brokerRole=ASYNC_MASTER

# 刷盤方式
# - ASYNC_FLUSH 異步刷盤
# - SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH

# 發消息線程池數量
# sendMessageThreadPoolNums=128
# 拉消息線程池數量
# pullMessageThreadPoolNums=128 


/<code>

RocketMQ 控制檯

訪問 http://192.168.198.131:8070 登入控制檯

由於本教程整個案例基於 Spring Cloud，故我們採用 Spring Cloud Stream 完成一次發佈和訂閱

官方教程Spring Cloud Alibaba RocketMQ

Spring Cloud Stream

Spring Cloud Stream 是一個用於構建基於消息的微服務應用框架。它基於 SpringBoot 來創建具有生產級別的單機 Spring 應用，並且使用 Spring Integration 與 Broker 進行連接。

Spring Cloud Stream 提供了消息中間件配置的統一抽象，推出了 publish-subscribe、consumer groups、partition 這些統一的概念。

Spring Cloud Stream 內部有兩個概念：Binder 和 Binding。

• Binder: 跟外部消息中間件集成的組件，用來創建 Binding，各消息中間件都有自己的 Binder 實現。

比如 Kafka 的實現 KafkaMessageChannelBinder，RabbitMQ 的實現 RabbitMessageChannelBinder 以及 RocketMQ 的實現 RocketMQMessageChannelBinder。

• Binding: 包括 Input Binding 和 Output Binding。

Binding 在消息中間件與應用程序提供的 Provider 和 Consumer 之間提供了一個橋樑，實現了開發者只需使用應用程序的 Provider 或 Consumer 生產或消費數據即可，屏蔽了開發者與底層消息中間件的接觸。

SCSt overview

Figure 4. Spring Cloud Stream

使用 Spring Cloud Stream 完成一段簡單的消息發送和消息接收代碼：

<code>MessageChannel messageChannel = new DirectChannel();

// 消息訂閱
((SubscribableChannel) messageChannel).subscribe(new MessageHandler() {
    @Override
    public void handleMessage(Message> message) throws MessagingException {
        System.out.println("receive msg: " + message.getPayload());
    }
});

// 消息發送
messageChannel.send(MessageBuilder.withPayload("simple msg").build()); 

/<code>

這段代碼所有的消息類都是 spring-messaging 模塊裡提供的。屏蔽具體消息中間件的底層實現，如果想用更換消息中間件，在配置文件裡配置相關消息中間件信息以及修改 binder 依賴即可。

Spring Cloud Stream 底層基於這段代碼去做了各種抽象。

解決連接超時問題

我們採用 Docker 部署了 RocketMQ 服務，此時 RocketMQ Broker 暴露的地址和端口(10909，10911)是基於容器的，會導致我們開發機無法連接，從而引發 org.apache.rocketmq.remoting.exception.RemotingTooMuchRequestException: sendDefaultImpl call timeout 異常

注意下圖中的 IP 地址，這個是容器的 IP，開發機與容器不在一個局域網所以無法連接。

解決方案是在 broker.conf 配置文件中增加 brokerIP1=宿主機IP 即可

POM

參考文檔，此處使用com.alibaba.cloud:spring-cloud-starter-stream-rocketmq

<code>
<project>         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelversion>4.0.0/<modelversion>

    <parent>
        <groupid>com.wj/<groupid>
        <artifactid>hello-spring-cloud-alibaba-dependencies/<artifactid>
        <version>1.0.0-SNAPSHOT/<version>
        <relativepath>../hello-spring-cloud-alibaba-dependencies/pom.xml/<relativepath>
    /<parent> 


    <artifactid>hello-spring-cloud-alibaba-rocketmq-provider/<artifactid>
    <packaging>jar/<packaging>

    <name>hello-spring-cloud-alibaba-rocketmq-provider/<name>


    <dependencies>
        
        <dependency>
            <groupid>org.springframework.boot/<groupid>
            <artifactid>spring-boot-starter-web/<artifactid>
        /<dependency>
        <dependency>
            <groupid>org.springframework.boot/<groupid>
            <artifactid>spring-boot-starter-actuator/<artifactid>
        /<dependency>
        <dependency>
            <groupid>org.springframework.boot/<groupid>
            <artifactid>spring-boot-starter-test/<artifactid>
            <scope>test/<scope>
        /<dependency>
        

        
        <dependency>
            <groupid>com.alibaba.cloud/<groupid>
            <artifactid>spring-cloud-starter-stream-rocketmq/<artifactid>
        /<dependency>
        
    /<dependencies>

    <build>
        <plugins>
            <plugin>
                <groupid>org.springframework.boot/<groupid>
                <artifactid>spring-boot-maven-plugin/<artifactid>
                <configuration>
                    <mainclass>com.wj.hello.spring.cloud.alibaba.rocketmq.provider.RocketMQProviderApplication/<mainclass>
                /<configuration>
            /<plugin>
        /<plugins>
    /<build>
/<project>
/<code>

Application

<code>package com.wj.hello.spring.cloud.alibaba.rocketmq.provider;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.CommandLineRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.cloud.stream.messaging.Source;
import org.springframework.messaging.MessageChannel;
import org.springframework.messaging.support.MessageBuilder;

@SpringBootApplication
@EnableBinding({Source.class})
public class RocketMQProviderApplication implements CommandLineRunner {
    public static void main(String[] args) {
        SpringApplication.run(RocketMQProviderApplication.class,args);
    }

    @Autowired
    private MessageChannel output;

    @Override
    public void run(String... args) throws Exception {
        output.send(MessageBuilder.withPayload("Hello RockerMQ").build());
    }
}
/<code>

application.yml

<code>spring:
  application:
    name: rocketmq-provider
  cloud:
    stream:
      rocketmq:
        binder:
          # RocketMQ 服務器地址
          namesrv-server: 192.168.198.131:9876
      bindings:
        # 這裡是個 Map 類型參數，{} 為 YAML 中 Map 的行內寫法
        output: {destination: test-topic, content-type: application/json}

server:
  port: 9093
 

management:
  endpoints:
    web:
      exposure:
        include: '*'
/<code>

運行成功後即可在 RocketMQ 控制檯的 消息 列表中選擇 test-topic 主題即可看到發送的消息

RocketMQ 消費者

POM

<code>
<project>         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelversion>4.0.0/<modelversion>

    <parent>
        <groupid>com.wj/<groupid>
        <artifactid>hello-spring-cloud-alibaba-dependencies/<artifactid>
        <version>1.0.0-SNAPSHOT/<version>
        <relativepath>../hello-spring-cloud-alibaba-dependencies/pom.xml/<relativepath>
    /<parent>

    <artifactid>hello-spring-cloud-alibaba-rocketmq-consumer/<artifactid>
    <packaging>jar/<packaging>

    <name>hello-spring-cloud-alibaba-rocketmq-consumer/<name>

    <dependencies>
        
        <dependency>
            <groupid>org.springframework.boot/<groupid>
            <artifactid>spring-boot-starter-web/<artifactid>
        /<dependency>
        <dependency>
            <groupid>org.springframework.boot/<groupid>
            <artifactid>spring-boot-starter-actuator/<artifactid>
        /<dependency>
        <dependency>
            <groupid>org.springframework.boot/<groupid>
            <artifactid>spring-boot-starter-test/<artifactid>
            <scope>test/<scope>
        /<dependency>
         


        
        <dependency>
            <groupid>org.springframework.cloud/<groupid>
            <artifactid>spring-cloud-starter-stream-rocketmq/<artifactid>
        /<dependency>
        
    /<dependencies>

    <build>
        <plugins>
            <plugin>
                <groupid>org.springframework.boot/<groupid>
                <artifactid>spring-boot-maven-plugin/<artifactid>
                <configuration>
                    <mainclass>com.wj.hello.spring.cloud.alibaba.rocketmq.consumer.RocketMQConsumerApplication/<mainclass>
                /<configuration>
            /<plugin>
        /<plugins>
    /<build>
/<project>
/<code>

Application

<code>package com.wj.hello.spring.cloud.alibaba.rocketmq.consumer;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.cloud.stream.messaging.Sink;

@SpringBootApplication
@EnableBinding({Sink.class})
public class RocketMQConsumerApplication {
    public static void main(String[] args) {
        SpringApplication.run(RocketMQConsumerApplication.class, args);
    }

    @StreamListener("input")
    private void inputMessage(String message){
        System.out.printf("input receive: " + message);
    }
}
/<code>

application.yml

<code>spring:
  application:
    name: rocketmq-consumer
  cloud:
    stream:
      rocketmq:
        binder:
          namesrv-server: 192.168.198.131:9876
        bindings:
          input: {consumer.orderly: true}
      bindings:
        input: {destination: test-topic, content-type: text/plain, group: test-group, consumer.maxAttempts: 1}

server:
  port: 9094

management:
  endpoints:
    web:
      exposure:
        include: '*'
/<code>

運行成功後即可在控制檯接收到消息：input receive:: Hello RocketMQ

rocketmq導圖

參考文章：

https://www.cnblogs.com/goodAndyxublog/p/11457164.html

https://www.funtl.com/zh/spring-cloud-alibaba/RocketMQ-%E7%AE%80%E4%BB%8B.html

閱讀更多 MrWu平凡 的文章

關鍵字: 特點 簡介 美好，一直在身邊