RocketMQ(六):namesrv再探

1,777 阅读3分钟

匠心零度 转载请注明原创出处,谢谢!

RocketMQ网络部署图

  • NameServer:在系统中是做命名服务,更新和发现 broker服务。
  • Broker-Master:broker 消息主机服务器。
  • Broker-Slave: broker 消息从机服务器。
  • Producer: 消息生产者。
  • Consumer: 消息消费者。

说明: rocketmq系列都将会以rocketmq-4.1.0-incubating进行介绍。

在阅读源码时做了一定的注释,公众号【匠心零度】回复:rocketmq,可获得基于rocketmq4.1.0加详细中文代码注释 。欢迎大家 star、fork !

今天的主题还是讨论namesrv,接着上篇RocketMQ(五):namesrv初探,继续谈谈namesrv,介绍namesrv前先介绍一个很重要的概念:topic,一般的服务注册发现都相对简单,但是在rocketmq里面就相对比较复杂了,因为整个过程都与topic息息相关,我觉得一篇一定不够,后续会继续补说明讲解。

Topic为何物

Topic是消息中间件里一个重要的概念,每一个Topic代表了一类消息,有了多个Topic,就可以对消息进行归类与隔离。

可以参照下图的动物园喂食模型,每一种动物都只能消费相对应的食品。

img

分区(Queue)为何物

RocketMQ是磁盘消息队列的模式,对于同一个消费组,一个分区只支持一个消费线程来消费消息。过少的分区,会导致消费速度大大落后于消息的生产速度。所以在实际生产环境中,一个Topic会设置成多分区的模式,来支持多个消费者,参照下图:

img

代码层

查看代码结构如图,看起来很少,其实很多公用的被放到其他地方了,由于需要提高给注册和查询(而且是多jvm进程中,所以需要rpc通信,查看之前写的:RocketMQ(二):RPC通讯)由于需要交互broker如何注册上namesrv的,其实就是rpc里面说的通讯以及到那里处理就是本模块的DefaultRequestProcessor处理,根据编码进行具体各各事情处理,重点关注注册borker信息。

Broker注册需要携带的信息:

  • 集群名称
  • 地址
  • broker名称
  • brokerId (0 表示 Master,>0 表示 Slave)
  • HA地址(主备通信交互,一般都是为broker的ip,端口+1)
  • Topic配置(topic名称,读写队列数据,权限等信息)
  • filterServerList
  • channel

假如我们需要搭建的集群为下图模式:

实例代码:

TopicConfigSerializeWrapper topicConfigSerializeWrapper = new TopicConfigSerializeWrapper();
ConcurrentHashMap<String, TopicConfig> topicConfigConcurrentHashMap = new ConcurrentHashMap<>();
TopicConfig topicConfig = new TopicConfig();
topicConfig.setWriteQueueNums(8);
topicConfig.setTopicName("test");
topicConfig.setPerm(6);
topicConfig.setReadQueueNums(8);
topicConfig.setOrder(false);
topicConfigConcurrentHashMap.put("test", topicConfig);
topicConfigSerializeWrapper.setTopicConfigTable(topicConfigConcurrentHashMap);
Channel channel = mock(Channel.class);
RegisterBrokerResult registerBrokerResult = routeInfoManager.registerBroker("rocketmq-cluster", "192.168.116.115:10911", "broker-a", 0, "192.168.116.115:10912",
    topicConfigSerializeWrapper, new ArrayList<String>(), channel);


RegisterBrokerResult registerBrokerResult = routeInfoManager.registerBroker("rocketmq-cluster", "192.168.116.116:10911", "broker-b", 0, "192.168.116.115:10912",
    topicConfigSerializeWrapper, new ArrayList<String>(), channel);


RegisterBrokerResult registerBrokerResult = routeInfoManager.registerBroker("rocketmq-cluster", "192.168.116.115:11911", "broker-b", 1, "192.168.116.115:11912",
    topicConfigSerializeWrapper, new ArrayList<String>(), channel);


RegisterBrokerResult registerBrokerResult = routeInfoManager.registerBroker("rocketmq-cluster", "192.168.116.116:11911", "broker-a", 1, "192.168.116.115:11912",
    topicConfigSerializeWrapper, new ArrayList<String>(), channel);

下面我们简单描述下各各关系, namesrv集群:

BrokerData关系:

QueueData关系:

根据topic获取TopicRouteData:

参考

阿里RocketMQ


如果读完觉得有收获的话,欢迎点赞、关注、加公众号【匠心零度】,查阅更多精彩历史!!!

加入知识星球,一起探讨!