RocktMQ顺序消费

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接: https://blog.csdn.net/h_sn9999/article/details/102604074

rocketmq以Topic来管理不同应用的消息。对于生产者而言,发送消息时,需要指定消息的Topic,对于消费者而言,在启动后,需要订阅相应的Topic,然后可以消费响应的消息。在物理实现上,一个Topic由多个Queue组成,采用多个Queue的好处是,可以将Broker存储分布式化,提供系统性能。默认情况下一个Topic下会有4个队列。

RocketMQ中,producer将消息发送给broker时,需要指定发送到哪一个队列中,默认情况下,producer会轮询的将消息发送到每个队列中(所有Broker下的Queue合并成一个list去轮询)。也就是说正常情况下,如果你发送了四条消息,就会分配到4个队列里(我们就认为是均匀分配了)。

而消费者从四个队列里消费,这个时候4个消息不知道是不是按照顺序进入4个队列的,如果是按顺序进入队列,我们要想顺序消费,就是等于说消费的时候按照队列顺序,一个队列一个队列的排队消费。明确说,这个是做不到的。如果不是按顺序进入队列,那更别想进行顺序消费了。

所以我们需要换一个思路。要想实现顺序消费。我们消费的信息就不能随机的乱进队列,我们需要把他们放进一个队列里。这样在一个队列的所有消息,是可以实现一个一个消费的。

SendResult result = producer.send(message);//普通的推送消息
这个是很普通的推送方式,会随机分发到不同的队列中去的,是无法实现消息顺序消费的。

SendResult result = producer.send(message, new MessageQueueSelector() {
    public MessageQueue select(List<MessageQueue> list, Message message, Object o) {
        Integer id = (Integer) o;
        int index = id % list.size();
        return list.get(index);
    }
},0);  //指定到第0个队列


应该使用这个方法,这个方法是选择的消息队列了,这样就完成了讲消息放在了一个队列中。如何顺序消费,在consumer代码中也有区别。

rocketmq消费者注册监听有两种模式,有序消费MessageListenerOrderly和并发消费MessageListenerConcurrently,这两种模式返回值不同。

MessageListenerOrderly正确消费返回ConsumeOrderlyStatus.SUCCESS,

稍后消费返回ConsumeOrderlyStatus.SUSPEND_CURRENT_QUEUE_A_MOMENT

MessageListenerConcurrently正确消费返回ConsumeConcurrentlyStatus.CONSUME_SUCCESS

稍后消费返回ConsumeConcurrentlyStatus.RECONSUME_LATER

所以要进行顺序消费我们使用,有序消费的注册监听模式MessageListenerOrderly

代码如下:


import java.io.UnsupportedEncodingException;
import java.util.List;

import org.apache.commons.lang3.time.StopWatch;
import org.apache.rocketmq.client.exception.MQBrokerException;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.MessageQueueSelector;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.message.MessageQueue;
import org.apache.rocketmq.remoting.common.RemotingHelper;
import org.apache.rocketmq.remoting.exception.RemotingException;

public class Server {
    DefaultMQProducer producer;
    
    public static void main(String[] args) throws Exception {
        Server server =new Server();
        server.producer = defaultMQProducer();
        
        
        for (int i = 0; i < 100; i++) {
            int orderId = i % 10;
            
            server.sendInOrder(orderId, "TopicTest", "TagA", "ooooooooo"+orderId+"----"+i);
        }
        
        
        server.producer.shutdown();
    }
    
    
    public static DefaultMQProducer  defaultMQProducer() {

        // 生产者的组名
        DefaultMQProducer producer = new DefaultMQProducer("TopicTestGroup");
        // 指定NameServer地址,多个地址以 ; 隔开
        producer.setNamesrvAddr("127.0.0.1:9876");
        producer.setVipChannelEnabled(false);
        try {
            producer.start();
            System.out.println("-------->:producer启动了");
        } catch (MQClientException e) {
            e.printStackTrace();
        }
        return producer;
        
        
    }

    /**
     * 同步发送
     * 
     * @param topic
     * @param tags
     * @param body
     * @return
     * @throws InterruptedException
     * @throws RemotingException
     * @throws MQClientException
     * @throws MQBrokerException
     * @throws UnsupportedEncodingException
     */
    public String send(String topic, String tags, String body) throws InterruptedException, RemotingException,
            MQClientException, MQBrokerException, UnsupportedEncodingException {
        Message message = new Message(topic, tags, body.getBytes(RemotingHelper.DEFAULT_CHARSET));
        StopWatch stop = new StopWatch();
        stop.start();
        SendResult result = producer.send(message);
        System.out.println("发送响应:MsgId:" + result.getMsgId() + ",发送状态:" + result.getSendStatus());
        stop.stop();
        return "{\"MsgId\":\"" + result.getMsgId() + "\"}";
    }

    /**
     * 按照订单id顺序发送
     * 
     * @param orderId
     * @param topic
     * @param tags
     * @param body
     * @return
     * @throws MQClientException
     * @throws RemotingException
     * @throws MQBrokerException
     * @throws InterruptedException
     * @throws UnsupportedEncodingException
     */
    public String sendInOrder(int orderId, String topic, String tags, String body) throws MQClientException,
            RemotingException, MQBrokerException, InterruptedException, UnsupportedEncodingException {

        Message msg = new Message(topic, tags, body.getBytes(RemotingHelper.DEFAULT_CHARSET));
        SendResult sendResult = producer.send(msg, new MessageQueueSelector() {
            @Override
            public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
                Integer id = (Integer) arg;
                int index = id % mqs.size();
                return mqs.get(index);
            }
        }, 1);//这个1是指定队列的下标
        
        return "{\"MsgId\":\"" + sendResult.getMsgId() + "\"}";
    }

    
}
 

消费端:


import java.io.UnsupportedEncodingException;
import java.util.List;

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeOrderlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerOrderly;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.common.message.MessageExt;
import org.apache.rocketmq.remoting.common.RemotingHelper;

public class OrderedConsumerX {

    public static void main(String[] args) throws MQClientException {

        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name");

        consumer.setNamesrvAddr("127.0.0.1:9876");

        consumer.subscribe("TopicTest", "TagA");

        //顺序消费,注意这里的监听接口
        consumer.registerMessageListener(new MessageListenerOrderly() {

            @Override
            public ConsumeOrderlyStatus consumeMessage(List<MessageExt> list, ConsumeOrderlyContext consumeOrderlyContext) {
                MessageExt messageExt = list.get(0);
                try {
                    byte[] body = messageExt.getBody();
                    String tags = messageExt.getTags();
                    String topic = messageExt.getTopic();
                    String keys = messageExt.getKeys();
                    System.out.println("body:"+new String(body, RemotingHelper.DEFAULT_CHARSET)+" tags:"+tags+" topic:"+topic+" keys:"+keys);
                } catch (UnsupportedEncodingException e) {
                    e.printStackTrace();
                    return ConsumeOrderlyStatus.SUSPEND_CURRENT_QUEUE_A_MOMENT;
                }
                return ConsumeOrderlyStatus.SUCCESS;
            }
        });

        consumer.start();
        System.out.printf("Consumer Started.%n");
    }
}
代码可以参考: https://github.com/hsn999/start-cloud/tree/master/base-framwork-rocketmq

猜你喜欢

转载自blog.csdn.net/h_sn9999/article/details/102604074