JanGin's BLOG
主页
归档
标签
分类
avatar
文章
42
标签
43
分类
15
主页
归档
标签
分类
目录
  1. 1. 下载并安装 RocketMQ
    1. 1.1 下载
    2. 1.2 解压
    3. 1.3 启动
    4. 1.4 测试
    5. 1.5 关闭
  2. 2. RocketMQ 集群
    1. 2.1 集群中的角色
    2. 2.2 集群模式
    3. 2.3 集群工作方式
    4. 2.4 集群的搭建
      1. 2.4.1 设置 hosts 文件
      2. 2.4.2 设置防火墙
      3. 2.4.3 设置环境变量
      4. 2.4.4 创建消息存储路径
      5. 2.4.5 配置集群配置文件
      6. 2.4.6 修改启动脚本
      7. 2.4.7 启动服务
  3. 3. RocketMQ监控平台
    1. 3.1 下载并打包
    2. 3.2 访问界面
搭建 RocketMQ 集群结构
|RocketMQ
字数总计:3.7k|阅读时长: 14 分钟

搭建RocketMQ 双主双从的过程笔记 , 由于条件限制，本次是在两台虚拟机上完成整个搭建过程，两个虚拟机分别给了4G的内寸以及2 cpu

1. 下载并安装 RocketMQ

1.1 下载

RocketMQ 是基于 JRE 运行的，因此安装之前请先确保机器上已经安装好了 JDK 或者 JRE. 建议安装好 JDK.

RocketMQ 的最新版本是 4.7.1, 下载地址是 RocketMQ_4.7.1

这里我们选择是的二进制文件的安装方式，直接执行以下命令也可将安装包下载到本地

shell
1
wget https://archive.apache.org/dist/rocketmq/4.7.1/rocketmq-all-4.7.1-bin-release.zip
1.2 解压

在当前安装包的所在目录，执行以下命令解压安装包

shell
1
unzip rocketmq-all-4.7.1-bin-release.zip

解压之后进入安装目录，其中重要的目录包括有：

  • bin：启动脚本，包括shell脚本和CMD脚本
  • conf：实例配置文件 ，包括broker配置文件、logback配置文件等
  • lib：依赖jar包，包括Netty、commons-lang、FastJSON等
1.3 启动

首先需要启动 nameserver 服务

shell
1
2
3
4
# 启动NameServer
nohup sh bin/mqnamesrv &
# 查看启动日志
tail -f ~/logs/rocketmqlogs/namesrv.log

接着启动 broker 服务

shell
1
2
3
4
# 启动Brok地址 -n 指定 nameServer 地址
nohup sh bin/mqbroker -n localhost:9876 &
# 查看启动日志
tail -f ~/logs/rocketmqlogs/broker.log

由于 RocketMQ 默认启动的 JVM 堆内存参数会给到 8G， 所以这里可能会启动失败，通过修改启动脚本 runserver.sh 和 runbroker.sh 中的 JVM 参数，然后重试启动。建议参数改为如下：

shell
1
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m  -XX:MaxMetaspaceSize=320m"
1.4 测试

发送消息

shell
1
2
3
4
# 设置环境变量
export NAMESRV_ADDR=localhost:9876
# 使用给出的demo发送消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

接收消息

shell
1
2
3
4
# 设置环境变量
export NAMESRV_ADDR=localhost:9876
# 接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
1.5 关闭
shell
1
2
3
4
# 关闭NameServer
sh bin/mqshutdown namesrv
# 关闭Broker
sh bin/mqshutdown broker

2. RocketMQ 集群

事先准备两台虚拟机，他们的 IP 分别为 192.168.1.128 和192.168.1.130

2.1 集群中的角色

关于 RocketMQ 集群，集群当中的各部分角色介绍如下：

  • Producer：消息的发送者
  • Consumer：消息接收者
  • Broker：暂存和传输消息
  • NameServer：管理Broker
  • Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息
  • Message Queue：相当于是Topic的分区；用于并行发送和接收消息

RocketMQ中的各个角色

2.2 集群模式
  1. 单 Master 模式

这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

  1. 多 Master 模式

一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下：

  • 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
  • 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。
  1. 多Master多Slave模式（异步）

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

  • 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；
  • 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。
  1. 多Master多Slave模式（同步）

每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：

  • 优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；
  • 缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。
2.3 集群工作方式
  1. 启动 NameServer，NameServer 启动后监听端口，等待Broker、Producer、Consumer 分别连上来，相当于一个路由控制中心。
  2. Broker 启动，跟所有的 NameServer 保持长连接，定时发送心跳包。心跳包中包含当前 Broker 信息(IP+端口等)以及存储所有 Topic 信息。注册成功后，NameServer 集群中就有 Topic 跟 Broker 的映射关系。
  3. 收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic。
  4. Producer 发送消息，启动时先跟 NameServer 集群中的其中一台建立长连接，并从 NameServer 中获取当前发送的 Topic 存在哪些 Broker 上，轮询从队列列表中选择一个队列，然后与队列所在的 Broker 建立长连接从而向Broker发消息。
  5. Consumer 跟 Producer 类似，跟其中一台 NameServer 建立长连接，获取当前订阅 Topic 存在哪些 Broker 上，然后直接跟 Broker 建立连接通道，开始消费消息。
2.4 集群的搭建

下面开始进行双主双从集群的搭建过程

两台虚拟机的规划：

序号 主机IP 集群角色 架构模式
1 192.168.1.128 nameServer, broker master1 ， slave2
2 192.168.1.130 nameServer, broker master2 , slave1
2.4.1 设置 hosts 文件
shell
1
2
3
4
5
6
7
8
9
10
11
vim /etc/host

# 添加以下内容
# nameserver
192.168.1.128 rocketmq-nameserver1
192.168.1.130 rocketmq-nameserver2
# broker
192.168.1.128 rocketmq-master1
192.168.1.128 rocketmq-slave2
192.168.1.130 rocketmq-master2
192.168.1.130 rocketmq-slave1

设置完成后，重启网卡

shell
1
systemctl restart network
2.4.2 设置防火墙

只对外开放需要开放访问的端口号 9876, 10909, 10911

shell
1
2
3
4
5
6
firewall-cmd --zone=public --add-port=9876/tcp --permanent
firewall-cmd --zone=public --add-port=10909/tcp --permanent
firewall-cmd --zone=public --add-port=10911/tcp --permanent

# 重启防火墙
firewall-cmd --reload
2.4.3 设置环境变量
shell
1
2
3
4
5
6
7
8
9
10
vim /etc/profile

#set rocketmq
ROCKETMQ_HOME=/usr/local/rocketmq/rocketmq-all-4.7.1-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

# 输入 :x 保存并退出 /etc/profile
# 让配置变动立即生效
source /etc/profile
2.4.4 创建消息存储路径

注意，master 和 slave 的路径要加以区分

shell
1
2
3
4
5
6
7
8
9
10
11
# master
mkdir /usr/local/rocketmq/store-m
mkdir /usr/local/rocketmq/store-m/commitlog
mkdir /usr/local/rocketmq/store-m/consumequeue
mkdir /usr/local/rocketmq/store-m/index

# slave
mkdir /usr/local/rocketmq/store-s
mkdir /usr/local/rocketmq/store-s/commitlog
mkdir /usr/local/rocketmq/store-s/consumequeue
mkdir /usr/local/rocketmq/store-s/index
2.4.5 配置集群配置文件

master1 (192.168.1.128) :

shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
vim conf/2m-2s-sync/broker-a.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store-m
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store-m/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store-m/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store-m/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store-m/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store-m/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

master2 (192.168.1.130) :

shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
vim conf/2m-2s-sync/broker-b.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

slave1 (192.168.1.130) :

shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
vim conf/2m-2s-sync/broker-a-s.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store-s
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store-s/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store-s/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store-s/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

slave2 (192.168.1.128) :

shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
vim conf/2m-2s-sync/broker-b-s.properties

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store-s
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store-s/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store-s/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store-s/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
2.4.6 修改启动脚本

同样的，由于硬件条件的限制，需要修改启动脚本更新 JVM 的启动参数，不然服务是起不来的。

同样的是更新 runserver.sh 和 runbroker.sh 两个文件

shell
1
2
3
4
5
6
# 开发环境配置 JVM Configuration
# runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

# runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
2.4.7 启动服务

分别在 192.168.1.128 和 192.168.1.130 上启动 nameServer

shell
1
2
cd /usr/local/rocketmq-4.7.1/bin
nohup sh mqnamesrv &

在 192.168.1.128 上启动 master1 和 slave2：

shell
1
2
3
4
5
cd /usr/local/rocketmq-4.7.1/bin
# 启动 master1
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a.properties &
# 启动 slave2
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b-s.properties &

在 `192.168.1.130 上启动 master2 和 slave1：

shell
1
2
3
4
5
cd /usr/local/rocketmq-4.7.1/bin
# 启动 master2
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties &
# 启动 slave1
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties &

启动完成后通过 jps 命令查看 java 进程，应该在每台机器上都能看到三个进程，其中一个是 nameserver， 另外两个是 broker

3. RocketMQ监控平台

RocketMQ 官方提供了一系列的 RocketMQ 扩展应用，其中就包括有 rocketmq-console, 可以在 github 上下载或者克隆得到。地址是 apache/rocketmq-externals

3.1 下载并打包
shell
1
2
3
git clone https://github.com/apache/rocketmq-externals
cd rocketmq-console
mvn clean package -DskipTests=true

注意执行mvn package 之前需要修改 rocketmq-console 工程中的配置文件，修改其中 nameserver的地址为自己上述的配置地址！！！

3.2 访问界面

启动成功后，通过浏览器访问 http://localhost:8080 就可以进入控制台界面了，这里图就不上了，启动没有问题的话直接访问便可看到。

文章作者: JanGin
文章链接: http://jangin.github.io/2020/11/07/build-rocketmq-2m-2s-cluster/
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 JanGin's BLOG！
RocketMQ cluster
评论