识别 Perl/DBI 代码中的内存问题

Question

首先 - 这不是我的代码 - 代码存在问题，我正在尝试找出如何调试该问题。如果有机会的话，我会对代码进行很多更改（过多的大括号、全局变量、使用 join 函数而不是 foreach 等等）。它充满了不好的做法，但这不是我需要帮助的。

这是 Perl 代码的片段（没有子例程，没有什么特别的 - 基本上打开一个文件来获取查询结果，执行查询，并将结果转储到文件中）：

# earlier in the program, @row, $field, and $output are all declared globally, like this:
my @row;
my $field;
my $output;

# a file is opened for output, with filehandle ROWOUT
# a database statement handle (DBD::DB2) is executed

while ( @{row} = ${sth}->fetchrow_array ) {
    foreach ${field}( @{row} ) {
        ${field} =~ s/\s+$//;
        ${output} = "${output}\~${field}";
    }

    ${output} =~ s/\~//;
    print ROWOUT "${output}\n";
    undef ${output};
}

在 while 循环中的某个位置，Perl 脚本因内存不足！错误而崩溃（不是彻底的崩溃 - 它只是停止运行并显示该消息。）

在大多数运行中，此查询的量非常小。这次脚本崩溃时的查询结果要大得多（仍然不是很大）：150,000 行，每行大约 1200 字节宽。

我想到的事情：

1. DBI 的 fetchrow_array 函数足够聪明，不会将完整的数据集拉入内存，对吗？我的假设是数据位于数据库上，并且 fetchrow_array 一次检索一行，因此即使您有 100 亿行，也不应该出现内存问题 - 这是正确的吗？
2. 对 $output 变量调用 undef 将释放它正在使用的内存，对吗？如果没有，那可能是另一个可能存在内存问题的地方。
3. 每次检索新行时，@row 变量正在使用的内存都会被重新使用（？），对吗？如果没有，我可以看到使用全局数组来存储每一行​​可能会耗尽内存。

我希望有一些明显的事情是我不理解的。如果通过查看代码没有明显的东西，我可以使用哪些技术来调试这个问题？

提前致谢！

Answer 1

可能是您（可能无意中）缓存了太多行。您可以通过检查$sth->{RowsInCache}了解已引入的数量。如果是 undef，则没有缓存，否则您将获得行数。

您还可以通过如下重写来摆脱与 $output 相关的麻烦：

while ( my @this_row = $sth->fetchrow_array ) {
    # Get rid of this line once you figure out your memory problem.
    print STDERR "Using ", ($sth->{RowsInCache} || 0), " rows in cache\n";

    print ROWOUT join('~', map { s/\s+$// } @this_row), "\n";
}

因此，假设缓存中有太多行，您可以通过以下方式限制它

my $dbh = DBI->connect($dsn, $user, $pass, { RowCacheSize => 20 })
    or die "Cannot connect to $dsn: $DBI::errstr\n";

： DBI 文档中，您可以通过使用如下值来控制缓存（假设您的驱动程序支持它）：

 0 - Automatically determine a reasonable cache size for each C<SELECT>
 1 - Disable the local row cache
>1 - Cache this many rows
<0 - Cache as many rows that will fit into this much memory for each C<SELECT>.

Answer 2

提高跟踪级别，并在 Perl 和 GDB 调试器下运行代码。您需要找出流程到底在哪里失控。

如果您没有运行最新版本的相关模块和数据库，请考虑您可能发现了已修复的旧错误。

Answer 3

就#1而言，我确实相信它将整个结果加载到内存中
编辑：我记得这是 DBI 中的一个选项

对于 #2 和 #3，您确实应该将变量本地化到它们使用的范围。

我怀疑您在执行后实际上耗尽了内存，尽管我知道您说过否则。您似乎不太可能在该循环中使用大量内存。当然，除非 ROWOUT 实际上是对内存中变量的引用，但如果您不提供完整的脚本，我们不知道这一点。