如何修复 PHP 中的内存泄漏

Question

我的 PHP 应用程序有一个可以导入记录的导入脚本。

目前，它正在从 CSV 文件导入。 它使用 fgetcsv 一次读取 CSV 文件的每一行，并且对于每一行，它都会对该记录进行大量处理，包括数据库查询，然后继续执行下一行。 它不应该需要不断积累更多的内存。

导入大约 2500 条记录后，PHP 停止运行，并表示已超出内存限制（132 MB 左右）。

CSV 文件本身只有几兆 - 发生的其他处理会进行大量字符串比较、差异等。我有大量代码在其上运行，很难想出一个“最小的复制”样本'。

有哪些好的方法可以找到并解决此类问题？

发现问题的原因

我有一个调试类，它在运行时记录我的所有数据库查询。 因此，这些 SQL 字符串（大约 30KB 长）保留在内存中。 我意识到这不适合设计为长时间运行的脚本。

可能还有其他内存泄漏来源，但我相当确定这是导致我的问题的原因。

Answer 1

如果您确实怀疑脚本中只有一两个内存泄漏导致其崩溃，那么您应该采取以下步骤：

• 将 memory_limit 更改为较小的值，例如 500KB
• 注释掉除一个处理步骤之外的所有处理步骤都应用于每一行。
• 对整个 CSV 文件运行有限处理，看看它是否可以完成。
• 逐渐添加更多步骤并观察内存使用情况是否出现峰值。

示例：

ini_set('memory_limit', 1024 * 500);
$fp = fopen("test.csv", 'r');
while($row = fgetcsv($fp)) {
    validate_row($row);         // step 1: validate
    // add these back in one by one and keep an eye on memory usage
    //calculate_fizz($row);     // step 2: fizz
    //calculate_buzz($row);     // step 3: buzz
    //triangulate($row);        // step 4: triangulate
}
echo "Memory used: ", memory_get_peak_usage(), "\n";

最坏的情况是您的所有处理步骤都效率较低，您需要优化所有这些步骤。

Answer 2

查看代码会有所帮助，但如果您想自己调试它，请查看 Xdebug ，它将帮助分析您的应用程序。

当然，根据您在做什么，它可能会积累一些内存，尽管 132MB 对于 2500 条记录来说似乎已经很高了。 当然，您可以调整内存限制如果需要的话，在 php.ini 中。

您正在读取的 CSV 文件有多大？ 您正在对其进行哪些对象和类型的处理？

Answer 3

这取决于您在处理完变量后如何清除它们。

看起来您已经完成了记录，但您仍然将信息存储在某处。 如果有疑问，请使用 unset() 清除变量。

如果这没有帮助，请提供一个最小的复制代码示例，以查看所有内存都去哪里了。

顺便说一句，生成能够重现问题的最小代码示例是一种很好的调试技术，因为它迫使您仔细地再次检查代码。

Answer 4

您可以尝试本地安装 php5.3 并调用 http://www.php.net/manual/en/function.gc-collect-cycles.php。

gc_collect_cycles — 强制收集任何现有的垃圾周期

，您至少验证了问题。

Answer 5

您如何阅读该文件？ 如果您使用 fread/filegetcontents 或其他此类函数，那么当整个文件在调用时加载时，您将消耗内存中的整个文件大小（或使用 fread 加载的大小）。 但是，如果您使用 fgetcsv 如果一次只会读取一行，具体取决于行的长度，这可以是您的记忆力会大大提高。

还要确保在每个循环中重用尽可能多的变量。 检查是否存在包含大量数据的数组。

最后一点，还要确保您在循环之前打开文件，然后在事后关闭它：

$fh = fopen(...);
while(true)
{
//...
}
fclose($fh);

您真的不想这样做：

while(true)
{
$fh = fopen(...);
//...
fclose($fh);
}

就像其他人所说的那样，如果没有看到一些代码，就很难判断。

Answer 6

如果没有看到任何代码，很难说出原因。 然而，一个典型的问题是递归引用，即。 对象 A 指向对象 B，反之亦然，这可能会导致 GC 崩溃。

我不知道您当前如何处理该文件，但您可以尝试一次仅读取文件的一行。 如果一次读取整个文件可能会消耗更多内存。

这实际上是我经常更喜欢使用 Python 来执行批处理任务的原因之一。

Answer 7

您可以在 php.ini 中更改内存限制吗？

另外，对变量执行 unset($var) 可以释放一些内存吗？ $var = null 也有帮助吗？

另请参阅此问题：释放内存效果更好对于 PHP：unset() 或 $var = null

Answer 8

我遇到了同样的问题，这也是由于数据库分析（Zend_Db_Profiler_Firebug）造成的。 就我而言，每分钟泄漏 1mb。 这个脚本本来应该运行几天，所以几个小时内就会崩溃。