使用 PDO 获取大型结果集时节省内存

Question

我用 PHP 编写了一个数据库复制工具。它工作正常，但有一个问题：

我使用 PDO 连接到不同的数据库，以使其独立于任何特定的 RDBMS，这对于该应用程序至关重要。

该工具对表进行一些分析，以决定如何转换某些类型和其他一些内容。然后它几乎执行“SELECT * FROM”来获取需要复制的行。结果集相当大（某些表中大约有 50k 行）。

之后，它使用 PDOStatement::fetch(); 在 while 循环中迭代结果集，进行一些类型转换和转义，构建一个 INSERT 语句并将其提供给目标数据库。

除了一个例外，所有这些都运行良好。当从结果集中一次获取一行时，PHP 进程不断消耗越来越多的内存。我的假设是，PDO 将已处理的行保留在内存中，直到处理整个结果集。

我还观察到，当我的工具完成一个表并继续处理下一个表时，内存消耗立即下降，这支持了我的理论。

我不会将数据保存在 PHP 变量中！我在任何给定时刻只保留一行进行处理，所以这不是问题。

现在的问题是：有没有办法强制 PDO 不将所有数据保留在内存中？我一次只处理一行，所以完全没有必要保留所有这些垃圾。我真的很想在这件事上使用更少的内存。

Answer 1

我相信问题来自 php 的垃圾收集器，因为它没有足够快地进行垃圾收集。
我会尝试以 row_count 大小的块获取结果，例如 MySQL 中的 "SELCT ... LIMIT offset, row_count" 或 "SELECT * FROM ( SELECT ...) WHERE ROW_NUM BETWEEN offset AND (offset + row_count)" 在 ORACLE 中。
使用 Zend_Db_Select 可以生成与数据库无关的查询：

$select = $db->select()
    ->from(array('t' => 'table_name'),
        array('column_1', 'column_2'))
    ->limit($row_count, $offset);
$select->__toString(); 
# on MySQL renders: SELECT column_1, column_2 FROM table_name AS t LIMIT 10, 20