史上最便捷搭建RocketMQ服务器的方法

1,878 阅读9分钟

史上最便捷搭建RocketMQ服务器的方法

最近学习使用 rocketmq,需要搭建 rocketmq 服务端,本文主要记录 rocketmq 搭建过程以及这个过程踩到的一些坑。至于有多简单呢,在本机已有Docker环境的情况下只需要三步即可。

  1. 从github上面拉取项目
  2. 修改broker.conf中的brokerIP1参数,修改为本机IP
  3. 进入docker-compose.yml文件所在路径,执行docker-compose up命令即可

前言

首先我们是使用Docker进行搭建环境的,所以我们先要在自己机器上的安装Docker,具体的安装过程以及对于Docker的介绍官方文档里面说的很清楚了docs.docker.com/get-started…

我们要搭建RocketMQ服务器,那么我们就要知道大概搭建RocketMQ服务器需要部署哪些东西。对于RocketMQ有一个架构图,如下所示。而图中所示的Producer(生产者)和Consumer(消费者)无需我们搭建,因为那是作为一个服务器进行启动的。nameserver就是一个注册中心一样组件,我们可以将其简单理解成springcloud中的Eureka,那么nameserver是需要我们搭建的。broker就是真正处理消息的地方,也是需要我们搭建的。

RocketMQ架构图
RocketMQ架构图

正常情况我们搭建上面所提到的两个组件其实就能已经能够满足我们的发送接收消息的需求了。但是通常情况下我们还需要搭建一个Web可视化的平台用来查看MQ的服务状态、消息的消费情况、主题的队列配置等等。这里使用rocketmq-console。同样也是通过Docker来进行安装。

部署

上面我们提到了需要安装三个组件,那么这三个组件又是需要能够互相通信连接的,考虑到分开部署进行配置连接信息比较麻烦,于是这里我们采用docker-compose进行配置部署。

首先我们需要创建docker-compose.yml配置文件。文件内容如下

 1version: '3.5'
2services:
3  rmqnamesrv:
4    image: foxiswho/rocketmq:server
5    container_name: rmqnamesrv
6    ports:
7      - 9876:9876
8    volumes:
9      - ./logs:/opt/logs
10      - ./store:/opt/store
11    networks:
12        rmq:
13          aliases:
14            - rmqnamesrv
15
16  rmqbroker:
17    image: foxiswho/rocketmq:broker
18    container_name: rmqbroker
19    ports:
20      - 10909:10909
21      - 10911:10911
22    volumes:
23      - ./logs:/opt/logs
24      - ./store:/opt/store
25      - ./conf/broker.conf:/etc/rocketmq/broker.conf
26    environment:
27        NAMESRV_ADDR: "rmqnamesrv:9876"
28        JAVA_OPTS: " -Duser.home=/opt"
29        JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"
30    command: mqbroker -c /etc/rocketmq/broker.conf
31    depends_on:
32      - rmqnamesrv
33    networks:
34      rmq:
35        aliases:
36          - rmqbroker
37
38  rmqconsole:
39    image: styletang/rocketmq-console-ng
40    container_name: rmqconsole
41    ports:
42      - 8080:8080
43    environment:
44        JAVA_OPTS: "-Drocketmq.namesrv.addr=rmqnamesrv:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false"
45    depends_on:
46      - rmqnamesrv
47    networks:
48      rmq:
49        aliases:
50          - rmqconsole
51
52networks:
53  rmq:
54    name: rmq
55    driver: bridge

然后在与docker-compose.yml同级下面相应的建立三个文件夹conflogsstore。然后在conf文件夹下面建立broker.conf配置文件,所有文件的目录位置如下所示。

1docker-compose.yml
2conf
3    - broker.conf
4logs
5store

然后在编写broker.conf配置文件里面的内容

 1# Licensed to the Apache Software Foundation (ASF) under one or more
2# contributor license agreements.  See the NOTICE file distributed with
3# this work for additional information regarding copyright ownership.
4# The ASF licenses this file to You under the Apache License, Version 2.0
5# (the "License"); you may not use this file except in compliance with
6# the License.  You may obtain a copy of the License at
7#
8#     http://www.apache.org/licenses/LICENSE-2.0
9#
10#  Unless required by applicable law or agreed to in writing, software
11#  distributed under the License is distributed on an "AS IS" BASIS,
12#  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13#  See the License for the specific language governing permissions and
14#  limitations under the License.
15
16
17# 所属集群名字
18brokerClusterName=DefaultCluster
19
20# broker 名字,注意此处不同的配置文件填写的不一样,如果在 broker-a.properties 使用: broker-a,
21# 在 broker-b.properties 使用: broker-b
22brokerName=broker-a
23
24# 0 表示 Master,> 0 表示 Slave
25brokerId=0
26
27# nameServer地址,分号分割
28# namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
29
30# 启动IP,如果 docker 报 com.alibaba.rocketmq.remoting.exception.RemotingConnectException: connect to <192.168.0.120:10909> failed
31# 解决方式1 加上一句 producer.setVipChannelEnabled(false);,解决方式2 brokerIP1 设置宿主机IP,不要使用docker 内部IP
32brokerIP1=192.168.1.16
33
34# 在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
35defaultTopicQueueNums=4
36
37# 是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭 !!!这里仔细看是 false,false,false
38autoCreateTopicEnable=true
39
40# 是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
41autoCreateSubscriptionGroup=true
42
43# Broker 对外服务的监听端口
44listenPort=10911
45
46# 删除文件时间点,默认凌晨4点
47deleteWhen=04
48
49# 文件保留时间,默认48小时
50fileReservedTime=120
51
52# commitLog 每个文件的大小默认1G
53mapedFileSizeCommitLog=1073741824
54
55# ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整
56mapedFileSizeConsumeQueue=300000
57
58# destroyMapedFileIntervalForcibly=120000
59# redeleteHangedFileInterval=120000
60# 检测物理文件磁盘空间
61diskMaxUsedSpaceRatio=88
62# 存储路径
63# storePathRootDir=/home/ztztdata/rocketmq-all-4.1.0-incubating/store
64# commitLog 存储路径
65# storePathCommitLog=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/commitlog
66# 消费队列存储
67# storePathConsumeQueue=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/consumequeue
68# 消息索引存储路径
69# storePathIndex=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/index
70# checkpoint 文件存储路径
71# storeCheckpoint=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/checkpoint
72# abort 文件存储路径
73# abortFile=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/abort
74# 限制的消息大小
75maxMessageSize=65536
76
77# flushCommitLogLeastPages=4
78# flushConsumeQueueLeastPages=2
79# flushCommitLogThoroughInterval=10000
80# flushConsumeQueueThoroughInterval=60000
81
82# Broker 的角色
83# - ASYNC_MASTER 异步复制Master
84# - SYNC_MASTER 同步双写Master
85# - SLAVE
86brokerRole=ASYNC_MASTER
87
88# 刷盘方式
89# - ASYNC_FLUSH 异步刷盘
90# - SYNC_FLUSH 同步刷盘
91flushDiskType=ASYNC_FLUSH
92
93# 发消息线程池数量
94# sendMessageThreadPoolNums=128
95# 拉消息线程池数量
96# pullMessageThreadPoolNums=128

配置文件中的内容我们只需要改动一点即可,即brokerIP1这个属性,我们将其更改为我们本机的ip,可以利用ipconfig进行查看。

修改完以后我们直接在docker-compose.yml文件所在的位置输入命令docker-compose up即可启动。启动成功以后在浏览器中输入http://localhost:8080/即可看到管理页面,就表示我们搭建成功了。

使用Springboot快速上手

这里将会使用 springboot 快速上手使用 mq,将会使用rocketmq-spring-boot-starter模块。

pom 配置如下

1<!--在pom.xml中添加依赖-->
2<dependency>
3    <groupId>org.apache.rocketmq</groupId>
4    <artifactId>rocketmq-spring-boot-starter</artifactId>
5    <version>2.0.3</version>
6</dependency>

gradle配置如下

1implementation 'org.apache.rocketmq:rocketmq-spring-boot-starter:2.0.3'

消费服务发送方配置如下:

1## application.properties
2rocketmq.name-server=ip:9876
3rocketmq.producer.group=my-group

消费服务发送方程序如下:

 1@SpringBootApplication
2public class ProducerApplication implements CommandLineRunner {
3    @Resource
4    private RocketMQTemplate rocketMQTemplate;
5
6    public static void main(String[] args){
7        SpringApplication.run(ProducerApplication.class, args);
8    }
9
10    public void run(String... args) throws Exception {
11        rocketMQTemplate.convertAndSend("test-topic-1""Hello, World!");
12        rocketMQTemplate.send("test-topic-1", MessageBuilder.withPayload("Hello, World! I'm from spring message").build());
13    }
14
15}

这里图省事的话可以将消费者和生产者写道同一个项目中。

消息消费方配置如下:

1## application.properties
2rocketmq.name-server=ip:9876

消息消费方运行程序如下:

 1@SpringBootApplication
2public class ConsumerApplication{
3
4    public static void main(String[] args){
5        SpringApplication.run(ConsumerApplication.class, args);
6    }
7
8    @Slf4j
9    @Service
10    @RocketMQMessageListener(topic = "test-topic-1", consumerGroup = "my-consumer_test-topic-1")
11    public static class MyConsumer1 implements RocketMQListener<String{
12        public void onMessage(String message) {
13            log.info("received message: {}", message);
14        }
15    }
16}

到现在为止我们就可以在本机上快乐的试验各种关于RocketMQ的相关东西了。

RocketMQ的Docker配置文件存放处

RocketMQ的Docker配置文件存放处

RocketMQ的Docker配置文件存放处

大家可以直接从上面拉取项目,启动RocketMQ只需要两步。

  1. 修改broker.conf中的brokerIP1参数,修改为本机IP
  2. 进入docker-compose.yml文件所在路径,执行docker-compose up命令即可

如果大家不想自己搭建Springboot项目的话,可以从github.com/modouxiansh…上面直接拉取下来就行了。