51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
智能汽车
开源基础软件社区
WOT全球技术创新大会
公众号矩阵
移动端
免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2023年软考PMP项目管理
在线学习企业服务
CTO训练营技术经理研习营LeaTech峰会
文章资源问答开源课堂专栏直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
开源课堂 专栏 极客Show 鸿蒙技术特刊
汽车开发者社区 开发者训练营

RocketMQ深入浅出-03-集群搭建

baojunzh
发布于 2022-10-31 16:18
浏览
0收藏


3. RocketMQ集群搭建

3.1 各角色介绍


  • Producer：负责发送消息到消息队列；
  • Consumer：从消息队列获取消息进行消费；
  • Broker：暂时存储和传输消息的平台；
  • NameServer：管理Broker；
  • Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息
  • Message Queue：相当于是Topic的分区；用于并行发送和接收消息

RocketMQ深入浅出-03-集群搭建-开源基础软件社区




3.2 集群搭建方式


3.2.1 集群特点


  • NameServer是一个几乎无状态节点，可以进行集群部署，节点之间不进行信息同步。
  • Broker部署较为复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName来确定。Master和Slave的角色通过不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以集群部署，每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer。
  • Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Maser建立长连接，且定时向Master发送心跳。Producer完全无状态，通常集群部署。
  • Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Maser、Slave建立长连接，且定时向Master、Slave发送心跳。Conumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。


3.2.3 集群模式


集群部署模式指的是Broker的部署模式，大致可以分为以下四种

1）单Master模式

这种部署方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用，影响Producer和Consumer的使用。一般用于本地测试，线上环境不推荐使用。


2）多Master模式

这种模式指的是在集群中的所有Broker节点，都是Master的角色，没用Slave的角色。例如集群中有2个Master或者3个Master，这种模式的优缺也非常的明显：


优点：配置简单，单个Master宕机或重启，对client端无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢失（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；


缺点：其中一台或几台机器宕机期间，这些机器上未被消费的消息在机器恢复之前不可被消费，消息实时性会受到影响。并且如果多数机器宕机，剩下正常运行的机器压力将会骤增。


3）多Master多Slave模式（异步）

这种模式指的是，多个Master，每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，即消息写入Master即返回Producer成功地ACK，然后主备之间采用异步地方式将消息同步到Slave，这种异步复制的方式会导致主备之间有短暂消息延迟（毫秒级），这种模式的优缺点总结如下：


优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响。同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样，但是不会进行自动Master转移，需要人工干预，即写消息会受影响；


缺点：Master宕机，磁盘损坏情况下会丢失少量消息。


4）多Master多Slave模式（同步）

这模式和第种方式很类似，也是多个Master，每个Master配置一个Slave，有多对Master-Slave，不同的是它的HA采用的是同步双写方式，即只有主备都写成功（主从同步复制），才向Producer返回成功ACK，这种模式的优缺点如下：


优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高，即保证了非常高的可靠性；


缺点：因为是同步双写，所以不可避免的会导致性能比第三种模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备用节点不能自动切换为主节点，需要人为干预。


3.3 双主双从集群搭建


3.3.1 总体架构


消息高可用采用2m-2s（同步双写）方式


RocketMQ深入浅出-03-集群搭建-开源基础软件社区



3.3.2 集群工作流程


1.首先启动NameServer，NameServer起来后监听端口，等待Broker、Proucer、Consumer连上来，Broker连上后将自己的IP端口、Topic信息等注册进来，Producer和Consumer连上后取这些信息。NameServer相当于一个路由控制中心。


2.然后将Broker启动，它跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就保存了Topic跟Broker的映射关系。


3.NameServer和Broker都启动后，就是收发消息了。收发消息前，需先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic（自动创建Topic在线上环境不建议开启）。


4.Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息。


5.Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。


3.3.3 服务器环境

RocketMQ深入浅出-03-集群搭建-开源基础软件社区


3.3.4 Host添加信息

vim /etc/hosts

配置如下:

# nameserver 
192.168.25.135 rocketmq-nameserver1
192.168.25.138 rocketmq-nameserver2 
# broker 
192.168.25.135 rocketmq-master1 
192.168.25.135 rocketmq-slave2 
192.168.25.138 rocketmq-master2 
192.168.25.138 rocketmq-slave1

配置完成后, 重启网卡

systemctl restart network



3.3.5 防火墙配置


宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开放相关的端口号，简单粗暴的方式是直接关闭防火墙 

# 关闭防火墙
systemctl stop firewalld.service 
# 查看防火墙的状态 
firewall-cmd --state 
# 禁止firewall开机启动 
systemctl disable firewalld.service


或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口：

lnameserver 默认使用 9876 端口
lmaster 默认使用 10911 端口
lslave 默认使用11011 端口

执行以下命令：

# 开放name server默认端口
firewall-cmd --remove-port=9876/tcp --permanent 
# 开放master默认端口 
firewall-cmd --remove-port=10911/tcp --permanent 
# 开放slave默认端口 (当前集群模式可不开启) 
firewall-cmd --remove-port=11011/tcp --permanent 
# 重启防火墙 
firewall-cmd --reload


3.3.6 环境变量配置

vim /etc/profile

在profile文件的末尾加入如下命令

#set rocketmq
ROCKETMQ_HOME=/usr/local/rocketmq/rocketmq-all-4.4.0-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin 
export ROCKETMQ_HOME PATH


输入:wq! 保存并退出， 并使得配置立刻生效：

source /etc/profile


3.3.7 创建消息存储路径


mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog 
mkdir /usr/local/rocketmq/store/consumequeue 
mkdir /usr/local/rocketmq/store/index


3.3.8 broker配置文件

1）master1

服务器：192.168.25.135

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a.properties

修改配置如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128


2）slave2

服务器：192.168.25.135

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b-s.properties

修改配置如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128


3）master2

服务器：192.168.25.138

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b.properties

修改配置如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128


4）slave1

服务器：192.168.25.138

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a-s.properties

修改配置如下：


#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128


3.3.9 修改启动脚本文件


1）runbroker.sh

vi /usr/local/rocketmq/bin/runbroker.sh

需要根据内存大小进行适当的对JVM参数进行调整：

#=================================================== 
# 开发环境配置 JVM Configuration 
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"


2）runserver.sh


vim /usr/local/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"



3.3.10 服务启动

1）启动NameServe集群

分别在192.168.25.135和192.168.25.138启动NameServer

cd /usr/local/rocketmq/bin
nohup sh mqnamesrv&

2）启动Broker集群

在192.168.25.135上启动master1和slave2

master1：

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-syncbroker-a.properties&


slave2：

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b-s.properties&


l在192.168.25.138上启动master2和slave2

master2

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties&


slave1

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties&



3.3.11 查看进程状态


启动后通过JPS查看启动进程


RocketMQ深入浅出-03-集群搭建-开源基础软件社区


3.3.12 查看日志

# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log 
# 查看broker日志 
tail -500f ~/logs/rocketmqlogs/broker.log



3.4 mqadmin管理工具


3.4.1 使用方式


进入RocketMQ安装位置，在bin目录下执行./mqadmin {command} {args}

3.4.2 命令介绍

RocketMQ深入浅出-03-集群搭建-开源基础软件社区

3.4.3 注意事项


几乎所有命令都需要配置-n表示NameServer地址，格式为ip:port

几乎所有命令都可以通过-h获取帮助

如果既有Broker地址（-b）配置项又有clusterName（-c）配置项，则优先以Broker地址执行命令；如果不配置Broker地址，则对集群中所有主机执行命令


3.5 集群监控平台搭建


3.5.1 概述


RocketMQ有一个对其扩展的开源项目incubator-rocketmq-externals，这个项目中有一个子模块叫rocketmq-console，这个便是管理控制台项目了，先将incubator-rocketmq-externals拉到本地，因为我们需要自己对rocketmq-console进行编译打包运行。

RocketMQ深入浅出-03-集群搭建-开源基础软件社区



3.5.2 下载并编译打包

git clone https://github.com/apache/rocketmq-externals
cd rocketmq-console
mvn clean package -Dmaven.test.skip=true


注意：打包前在rocketmq-console中配置namesrv集群地址：

rocketmq.config.namesrvAddr=192.168.25.135:9876;192.168.25.138:9876


启动rocketmq-console：

java -jar rocketmq-console-ng-1.0.0.jar


启动成功后，我们就可以通过浏览器访问http://localhost:8080进入控制台界面了，如下图：

RocketMQ深入浅出-03-集群搭建-开源基础软件社区


集群状态：


RocketMQ深入浅出-03-集群搭建-开源基础软件社区



本文转载自公众号biggerboy


分类
其他
标签
数据库
已于2022-10-31 16:18:54修改
赞
收藏
回复
举报
回复
添加资源
添加资源将有机会获得更多曝光，你也可以直接关联已上传资源 去关联
    相关推荐
    baojunzh
    这个用户很懒，还没有个人简介
    帖子
    视频
    声望
    粉丝
    最近发布
    热门推荐
    【免费送花】Happy Women's Day 102回复
    OpenHarmony初步适配1加6/6T的GPU体验包更新及相关内核适配开源 7回复
    #创作者激励#由一个编译参数引发的gn构建依赖图谱查询 11回复
    #创作者激励#李洋：手把手教你开发一个元服务万能卡片 11回复
    #创作者激励# 高能预警,一篇5k字长文带你认识RTOS系统 5回复
    相关问题
    k8s 中 搭建 redis 集群，pod 重启后 IP 变化，集群失败，请问怎么解决 1回答
    docker 的副本与 docker 搭建的集群是什么关系？ 1回答
    搭建鸿蒙环境时，编译报错 2回答
    如何手动重启 OceanBase 集群？ 1回答
    如何修改OceanBase 集群参数？ 1回答
    社区精华内容

    目录