需要帮助识别涉及 matplotlib 和 Flask 的内存泄漏

Question

我使用 Flask 框架编写了一个小型 Web 应用程序，其中涉及使用 matplotlib 进行绘图。问题是每次我创建绘图时，该过程都会消耗更多内存。

我已经使用 mod_wsgi 部署了应用程序，其 .wsgi 文件看起来就像这样：

from yourapplication import app as application

当我访问创建绘图的 url 时，问题就开始了。该函数创建一个绘图仪对象，初始化时，该对象从 sqlite3 数据库获取相关数据（数据由大约 30 个整数和同样数量的日期时间对象组成），使用 matplotlib 创建绘图并返回一个 StringIO 对象，然后该对象显示在屏幕上。

到此函数就结束了。整个类可以在这里看到

    canvas = FigureCanvas(fig)
    png_output = StringIO.StringIO()
    canvas.print_png(png_output)
    return png_output.getvalue()

当我访问该网站时，一个过程使用大约 25MB 的保留内存创建。我第一次创建绘图时，它会增长到 30MB，然后每次使用绘图仪类时都会增长约 1MB。默认设置使用 5 个进程，这消耗了太多内存（几分钟内就达到了 150MB，而我只允许使用 80MB）。

我对这里涉及的所有事物（Web 框架、apache、数据库）都很陌生，所以我不知道事情可能会出错，所以任何想法都受到高度赞赏。谢谢！

Answer 1

每次调用plot_month函数后执行此操作解决了泄漏问题。

import gc
gc.collect()

Answer 2

发布此内容以防将来会对某人有所帮助。

我遇到了同样的问题，我认为 axel22 没有为我解决问题。

经过一番修补后，我意识到有两个问题：

1. 我没有清除 Matplotlib 图形，将其永远留在内存中
2. 我在代码的错误部分调用了垃圾收集器

第一个问题

我正在做这样的事情（不正确）：

fig = util.create_figure(....)
output = io.BytesIO()
canvas = FigureCanvas(fig)
canvas.print_png(output)

但我需要这样做（正确）：

fig = util.create_figure(....)
output = io.BytesIO()
canvas = FigureCanvas(fig)
canvas.print_png(output)
# Clears the figure from memory
fig.clf()

第二个问题

是我在代码的错误部分调用了垃圾收集器。您需要在调用 FigureCanvas 的范围之外调用它。

这不起作用（错误）：

import gc

def do_something():
    canvas = FigureCanvas(fig)
    png_output = StringIO.StringIO()
    canvas.print_png(png_output)
    gc.collect()
    return png_output.getvalue()

do_something()

但这有效（正确）：

import gc

def do_something():
    canvas = FigureCanvas(fig)
    png_output = StringIO.StringIO()
    canvas.print_png(png_output)
    return png_output.getvalue()

do_something()
gc.collect()

Answer 3

当我的网站需要使用 Flask 循环生成一系列图表时，我遇到了与您相同的内存泄漏问题。 matplotlib 的 文档，位于 部分下如何在 Web 应用程序服务器中使用 Matplotlib”，实际上提到了避免使用 matplotlib.pyplot 并使用 matplotlib.figure.Figure 来避免内存占用 泄露。请注意，您需要 Matplotlib 3.1 或更高版本。

取决于您如何构建图表（CLI 与 OO 接口）。 Pyplot 类与Figure 类的交换非常简单。
From:

import matplotlib.pyplot as plt
fig = plt.figure()

To:

from matplotlib.figure import Figure
fig = Figure()

然后将那些不起作用的代码从 CLI API 替换为面向对象的 API。