减少 Django 内存使用。 低垂的果实？

Question

我的内存使用量随着时间的推移而增加，并且重新启动 Django 对用户来说并不友好。

我不确定如何分析内存使用情况，但一些关于如何开始测量的提示会很有用。

我有一种感觉，一些简单的步骤可以产生巨大的收获。 确保“调试”设置为“False”显然是一件大事。

有人可以推荐其他人吗？ 在低流量站点上缓存会有多大改进？

在本例中，我使用 mod_python 在 Apache 2.x 下运行。 我听说 mod_wsgi 有点精简，但在这个阶段切换会很棘手，除非我知道收益会很大。

编辑：感谢到目前为止的提示。 有什么建议如何发现什么耗尽了内存？ 有 Python 内存分析指南吗？

另外，正如前面提到的，有一些事情会让切换到 mod_wsgi 变得很棘手，所以在朝这个方向前进之前，我想了解一下我可以预期的收益。

编辑：卡尔在这里发布了一个稍微更详细的回复，值得一读： Django 部署：削减 Apache 的开销

编辑： Graham Dumpleton 的文章 是我在 MPM 和 mod_wsgi 相关内容上找到的最好的文章。 但令我相当失望的是，没有人能够提供有关调试应用程序本身内存使用情况的任何信息。

最终编辑： 嗯，我一直在与 Webfaction 讨论这个问题，看看他们是否可以帮助重新编译 Apache，这是他们对此事的看法：

“我真的不认为您会得到太多帮助。通过切换到 MPM Worker + mod_wsgi 设置，我估计您可以节省大约 20MB，但可能不会比这个多多少。”

所以！ 这让我回到了最初的问题（我仍然对此一无所知）。 如何找出问题所在？ 这是一条众所周知的格言，如果没有测试看看需要优化的地方就不要优化，但是关于测量 Python 内存使用情况的教程很少，而且根本没有专门针对 Django 的教程。

感谢大家的帮助，但我认为这个问题仍然悬而未决！

另一个最终编辑;-)

我在 django-users 列表上询问了这个问题并得到了一些非常有用的回复

老实说是最后一次更新！

这是刚刚发布的。 可能是迄今为止最好的解决方案： 分析 Django Pympler 的对象大小和内存使用情况

Answer 1

确保您没有保留对数据的全局引用。 这可以防止 python 垃圾收集器释放内存。

不要使用 mod_python。 它在 apache 中加载一个解释器。 如果您需要使用 apache，请改用 mod_wsgi。 切换并不困难。 这很容易。 mod_wsgi 比 Brain 更容易配置 django -死mod_python。

如果您可以从您的需求中删除 apache，那对您的记忆会更好。 spawning 似乎是运行 python 的新的快速可扩展方式网络应用程序。

编辑：我不认为切换到 mod_wsgi 会变得“棘手”。 这应该是一个非常简单的任务。 请详细说明您在使用交换机时遇到的问题。

Answer 2

如果您在 mod_wsgi 下运行，并且可能正在生成，因为它符合 WSGI，您可以使用 Dozer 来看看你的内存使用情况。

在 mod_wsgi 下，只需将其添加到 WSGI 脚本的底部：

from dozer import Dozer
application = Dozer(application)

然后将浏览器指向 http://domain/_dozer/index 查看所有内存分配的列表。

我还将表达我对 mod_wsgi 的支持。 它在性能和内存使用方面与 mod_python 有着天壤之别。 Graham Dumpleton 对 mod_wsgi 的支持非常出色，无论是在积极开发方面还是在帮助邮件列表中的人们优化他们的安装方面。 curse.com 的 David Cramer 发布了一些图表（不幸的是，我现在似乎找不到）显示了在该高流量站点上切换到 mod_wsgi 后，CPU 和内存使用量急剧减少。 一些 django 开发人员已经更换。 说真的，这是显而易见的:)

Answer 3

这些是我所知道的 Python 内存分析器解决方案（与 Django 无关）：

• Heapy
• pysizer（已停产）
• Python 内存验证器（商业）
• Pympler

免责声明：我在后者中拥有股份。

各个项目的文档应该让您了解如何使用这些工具来分析 Python 应用程序的内存行为。

以下是一个不错的“战争故事”，也提供了一些有用的指导：

• 减少 Python 应用程序的占用空间

Answer 4

此外，请检查您是否没有使用任何已知的泄密者。 众所周知，由于 unicode 处理中的错误，MySQLdb 会在 Django 中泄漏大量内存。 除此之外，Django 调试工具栏 可能会帮助您跟踪 hogs。

Answer 5

除了不保留对大型数据对象的全局引用之外，还应尽可能避免将大型数据集加载到内存中。

切换到守护进程模式下的mod_wsgi，并使用Apache的worker mpm代替prefork。 后一步可以让您以更少的内存开销为更多的并发用户提供服务。

Answer 6

Webfaction 实际上有一些提示 用于降低 django 内存使用量。

要点：

• 确保 debug 设置为 false（您已经知道了）。
• 在 apache 配置中使用“ServerLimit”
• 检查内存中是否没有加载大对象
• 考虑在单独的进程或服务器中提供静态内容。
• 在您的 apache 配置中使用“MaxRequestsPerChild”
• 找出并了解您使用了多少内存

Answer 7

mod_wsgi 的另一个优点是：在 WSGIDaemonProcess 指令中设置一个 maximum-requests 参数，mod_wsgi 将每隔一段时间重新启动守护进程。 除了第一次访问新进程时页面加载缓慢之外，用户不应该有任何明显的影响，因为它将把 Django 和您的应用程序代码加载到内存中。

但即使您确实存在内存泄漏，也应该防止进程大小变得太大，而不必中断对用户的服务。

Answer 8

这是我用于 mod_wsgi 的脚本（称为 wsgi.py，并放在我的 django 项目的根目录中）：

import os
import sys
import django.core.handlers.wsgi

from os import path

sys.stdout = open('/dev/null', 'a+')
sys.stderr = open('/dev/null', 'a+')

sys.path.append(path.join(path.dirname(__file__), '..'))

os.environ['DJANGO_SETTINGS_MODULE'] = 'myproject.settings'
application = django.core.handlers.wsgi.WSGIHandler()

根据需要调整 myproject.settings 和路径。 我将所有输出重定向到 /dev/null 因为 mod_wsgi 默认情况下会阻止打印。 请改用日志记录。

对于 apache：

<VirtualHost *>
   ServerName myhost.com

   ErrorLog /var/log/apache2/error-myhost.log
   CustomLog /var/log/apache2/access-myhost.log common

   DocumentRoot "/var/www"

   WSGIScriptAlias / /path/to/my/wsgi.py

</VirtualHost>

希望这至少可以帮助您设置 mod_wsgi，以便您可以看看它是否有所不同。

Answer 9

缓存：确保它们被刷新。 某些东西很容易进入缓存，但由于缓存引用而永远不会被 GC 处理。

Swig 代码：确保所有内存管理都正确完成，在 python 中很容易错过这些，特别是使用第三方库

监控：如果可以的话，获取有关内存使用和点击的数据。 通常您会看到某种类型的请求与内存使用之间的相关性。

Answer 10

我们在 Django 中偶然发现了一个带有大站点地图（10.000 个项目）的错误。 似乎 Django 在生成站点地图时试图将它们全部加载到内存中： http://code.djangoproject.com/ Ticket/11572 - 当 Google 访问该网站时，有效地终止 apache 进程。