减少 RabbitMQ 内存使用

Question

我正在尝试在小型 VPS（512mb RAM）上运行 RabbitMQ 以及 Nginx 和其他一些程序。我已经能够毫无困难地调整其他所有内容的内存使用情况，但我似乎无法让 RabbitMQ 使用更少的 RAM。

我认为我需要减少 Erlang 用于 RabbitMQ 的线程数量，但我无法让它工作。我还尝试将 vm_memory_high_watermark 设置为低于默认值（40%）的几个不同值，甚至低至 5%。

部分问题可能是 VPS 提供商 (MediaTemple) 允许我查看分配的内存，因此当使用 free 或 top 时，它显示服务器有大约 900mb。

有什么建议可以减少 RabbitMQ 的内存使用量，或者限制 Erlang 创建的线程数量？我相信 Erlang 使用 30 个线程，基于我在 process 命令中看到的 -A30 标志。

理想情况下，我希望 RabbitMQ 内存使用量低于 100mb。

编辑：

将vm_memory_high_watermark设置为5%（或配置文件中的0.05）时，RabbitMQ日志报告RabbitMQ的内存限制设置为51mb。我不确定 51mb 从哪里来。当前 VPS 分配的内存为 924mb，因此其中 5% 应该在 46mb 左右。

根据启动 RabbitMQ 之前的 htop/free，我使用的内存约为 453mb，启动 RabbitMQ 后，我的内存约为 650mb。增加了近200mb。难道 200mb 是 RabbitMQ 运行的下限吗？

编辑2

这里是启动 RabbitMQ 前后 ps aux 和 free 的一些屏幕截图以及图表显示 RabbitMQ 启动时的内存峰值。

编辑3

我还检查了没有启用插件的情况，结果几乎没有什么区别。看来我的插件（管理及其先决条件）只增加了大约 8mb 的内存使用量。

编辑 4

我不再用此服务器进行测试，但是，有一个conf设置delegate_count，默认设置为16。据我所知，这为rabbitmq生成16个sup-procs。在较小的服务器上降低此数字可能有助于减少内存占用。不知道这是否真的有效，或者它如何影响性能，但这是值得尝试的事情。

Answer 1

限制 RabbitMQ 中内存使用的适当方法是使用 vm_memory_high_watermark。你说：

我也尝试过设置
vm_memory_high_watermark 到几
低于默认值的不同值（
40%），甚至低至 5%。

这应该可以工作，但它的行为可能不符合您的预期。在日志中，您会发现一行告诉您绝对内存限制是什么，如下所示：

=INFO REPORT==== 29-Oct-2009::15:43:27 ===
Memory limit set to 2048MB.

您需要根据需要调整内存限制 - Rabbit 可能会看到您的系统具有比您想象的更多的 RAM如果您在 VPS 环境上运行，则有。

有时，Rabbit 无法判断您所在的系统，并使用 1GB 作为基点（因此默认情况下您得到的限制为 410MB）。

另外，请确保您运行的 RabbitMQ 版本支持 vm_memory_high_watermark 设置 - 理想情况下，您应该使用最新的稳定版本运行。

Answer 2

确保设置适当的 QoS 预取值。默认情况下，如果有客户端，Rabbit 服务器会将该客户端队列中的任何消息发送给该客户端。这会导致客户端和服务器上的大量内存使用。服务器。

将预取限制降低到合理的值，比如 100，Rabbit 会将剩余的消息保留在服务器的磁盘上，直到客户端真正准备好处理它们，并且客户端和客户端上的内存使用量都会大幅下降。服务器。

请注意，建议的 100 只是一个合理的起点 - 它肯定胜过无穷大。要真正优化该数字，您需要考虑客户端每秒能够处理的消息数、网络延迟以及每条消息的平均大小。