RocketMQ 4.9.4 低内存环境调优：1GB 服务器 JVM 参数配置与防火墙规则

在资源受限的开发测试环境中部署 RocketMQ 时，如何优化配置以适配仅 1GB 内存的服务器成为关键挑战。本文将深入探讨针对低内存环境的 RocketMQ 调优策略，从 JVM 参数调整到防火墙规则配置，提供一套完整的解决方案。

1. 低内存环境下的 JVM 调优原理

在 1GB 内存的服务器上运行 RocketMQ，首要任务是合理分配有限的 JVM 内存资源。RocketMQ 包含两个核心组件：NameServer 和 Broker，分别通过 runserver.sh 和 runbroker.sh 脚本启动，这两个脚本中预设的 JVM 参数通常针对生产环境配置，内存分配较大，直接使用会导致内存不足。

内存分配策略 需要遵循以下原则：

• 保留足够内存给操作系统和其他进程（约 200MB）
• NameServer 作为轻量级服务，可分配较少内存（200-300MB）
• Broker 作为核心消息处理组件，需要更多内存（400-500MB）
• 避免频繁 GC，选择适合的垃圾回收器

2. 关键 JVM 参数配置

2.1 NameServer 内存配置

修改 bin/runserver.sh 文件中的 JVM 参数：

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"
JAVA_OPT="${JAVA_OPT} -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"
JAVA_OPT="${JAVA_OPT} -XX:CMSInitiatingOccupancyFraction=70"

参数说明 ：

• -Xms256m -Xmx256m ：初始和最大堆内存设为 256MB
• -Xmn128m ：新生代大小 128MB
• -XX:+UseConcMarkSweepGC ：使用 CMS 垃圾回收器
• -XX:CMSIncrementalMode ：增量式 CMS，减少 GC 停顿
• -XX:CMSInitiatingOccupancyFraction=70 ：老年代使用率达 70% 时触发 CMS

2.2 Broker 内存配置

修改 bin/runbroker.sh 文件中的 JVM 参数：

JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m"
JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:MaxGCPauseMillis=100"
JAVA_OPT="${JAVA_OPT} -XX:InitiatingHeapOccupancyPercent=40"

参数说明 ：

• -Xms512m -Xmx512m ：初始和最大堆内存设为 512MB
• -Xmn256m ：新生代大小 256MB
• -XX:+UseG1GC ：使用 G1 垃圾回收器
• -XX:MaxGCPauseMillis=100 ：目标最大 GC 停顿时间 100ms
• -XX:InitiatingHeapOccupancyPercent=40 ：堆使用率达 40% 时触发并发标记

注意：实际配置应根据服务器负载情况动态调整，可通过 jstat -gcutil <pid> 监控 GC 情况

3. 系统级优化配置

3.1 内核参数调整

编辑 /etc/sysctl.conf 添加以下参数：

vm.swappiness = 10
vm.overcommit_memory = 1
vm.overcommit_ratio = 50
fs.file-max = 655350

执行 sysctl -p 使配置生效。这些调整可以减少交换分区使用，优化内存分配策略。

3.2 文件描述符限制

RocketMQ 需要大量文件描述符，编辑 /etc/security/limits.conf ：

* soft nofile 655350
* hard nofile 655350

4. 防火墙规则配置

RocketMQ 需要开放以下端口：

端口	协议	组件	作用描述
9876	TCP	NameServer	服务发现端口
10911	TCP	Broker	消息存储与查询端口
10909	TCP	Broker	主从同步端口

4.1 firewalld 配置

# 添加端口
firewall-cmd --permanent --add-port=9876/tcp
firewall-cmd --permanent --add-port=10911/tcp
firewall-cmd --permanent --add-port=10909/tcp

# 重新加载配置
firewall-cmd --reload

# 验证规则
firewall-cmd --list-ports

4.2 iptables 配置

# 添加规则
iptables -A INPUT -p tcp --dport 9876 -j ACCEPT
iptables -A INPUT -p tcp --dport 10911 -j ACCEPT
iptables -A INPUT -p tcp --dport 10909 -j ACCEPT

# 保存规则（根据系统不同）
service iptables save  # CentOS 6
iptables-save > /etc/sysconfig/iptables  # CentOS 7

5. 服务验证与监控

5.1 服务启动验证

启动 NameServer 和 Broker 后，使用以下命令验证：

# 检查 NameServer 日志
tail -f ~/logs/rocketmqlogs/namesrv.log

# 检查 Broker 日志
tail -f ~/logs/rocketmqlogs/broker.log

# 使用 jps 检查 Java 进程
jps -l

5.2 快速测试脚本

创建测试脚本 test_mq.sh ：

#!/bin/bash

# 设置 NameServer 地址
export NAMESRV_ADDR=localhost:9876

# 测试消息发送
echo "测试消息发送..."
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

# 测试消息消费
echo "测试消息消费..."
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

赋予执行权限并运行：

chmod +x test_mq.sh
./test_mq.sh

5.3 监控指标

关键监控指标及检查方法：

1. 内存使用 ：

   free -m
   top -p $(pgrep -d, java)
   

2. GC 情况 ：

   jstat -gcutil $(jps | grep BrokerStartup | awk '{print $1}') 1000 5
   

3. 消息堆积 ：

   sh bin/mqadmin clusterList -n localhost:9876
   sh bin/mqadmin topicStatus -n localhost:9876 -t TopicTest
   

6. 性能调优进阶建议

6.1 Broker 配置优化

编辑 conf/broker.conf 添加以下参数：

# 存储路径配置
storePathRootDir=/usr/local/rocketmq/store
storePathCommitLog=/usr/local/rocketmq/store/commitlog
storePathConsumerQueue=/usr/local/rocketmq/store/consumequeue

# 低内存环境优化
mapedFileSizeCommitLog=1073741824  # 1GB
flushIntervalCommitLog=1000
commitIntervalCommitLog=200
maxHashSlotNum=5000000
maxIndexNum=5000000

6.2 日志文件清理

RocketMQ 默认日志保留 7 天，低内存环境可调整为 3 天：

sed -i 's/keepDays=7/keepDays=3/g' conf/logback_*.xml

6.3 定期维护脚本

创建维护脚本 mq_maintenance.sh ：

#!/bin/bash

# 清理过期消息
sh bin/mqadmin cleanExpiredCQ -n localhost:9876

# 检查存储空间
du -sh /usr/local/rocketmq/store/*

# 检查网络连接
netstat -anp | grep java | egrep "9876|10911"

7. 常见问题排查指南

问题1 ：Broker 启动失败，日志显示 OutOfMemoryError

解决方案 ：

1. 检查 runbroker.sh 中的 JVM 参数是否设置正确
2. 减少 -Xmx 值，确保系统有足够剩余内存
3. 检查是否有其他进程占用大量内存

问题2 ：生产者无法连接 Broker

排查步骤 ：

1. 确认防火墙规则已正确配置
2. 检查 NameServer 是否正常运行
3. 验证网络连通性：

   telnet localhost 9876
   telnet localhost 10911
   

问题3 ：消息堆积严重

优化建议 ：

1. 增加消费者数量
2. 调整消费者批量拉取大小：

   consumer.setPullBatchSize(32);  // 默认32，可适当减小
   

3. 优化消费者处理逻辑，减少单条消息处理时间