在 Postgres/PHP/PDO 中迭代结果集的最佳实践？

Question

我使用 PHP 5.3.6 和 PDO 来访问 Postgres 9.0.4。我被要求减少报告的内存占用。当前的实现很简单：执行查询，执行 fetchAll()，然后使用 foreach() 迭代结果数组。这显然无法适应巨大的结果集：它可能会暂时消耗 100MB 或更多。

我有一个新的实现，它采用 PDO 语句句柄，然后使用 foreach() 直接对其进行迭代，即没有通过 fetchAll() 的中间数组。 （根据我的阅读，使用 foreach 迭代语句句柄会在幕后调用 fetch()。）这同样快，并且消耗方式更少的内存：大约 28kB。尽管如此，我仍然不确定自己做得对，因为尽管我进行了大量的谷歌搜索，但很难找到有关此问题的基本问题的答案：

• 我看过建议解决我最初问题的文章使用光标。 Postgress PDO 驱动程序是否已在内部使用游标？如果需要编写自己的 SQL 来创建游标，我愿意，但我更愿意编写尽可能简单的代码（但再简单不过了！）。

• 如果 foreach 每次迭代都调用 fetch()，那不是太网络混乱了吗？或者它是否智能并一次获取多行（例如 500 行）以节省带宽？ （这可能意味着它在内部使用游标。）

• 我看过一篇文章，它将语句句柄包装在实现 Iterator 接口的类中。鉴于 PDO 语句句柄已经执行此操作，这不是多余的吗？或者我错过了什么？

• 我对准备 SQL 语句的调用如下所示：

  $sth = $dbh->prepare($sql);

我发现如果我这样做，它不会产生内存或速度差异：

$sth = $dbh->prepare($sql, array( PDO::ATTR_CURSOR => PDO::CURSOR_FWDONLY ) );

这是因为这是 Postgres PDO 驱动程序的默认设置吗？如果它已经在内部使用游标，这将是有意义的。

欢迎对该方法和其他解决此问题的方法提出一般性意见。

Answer 1

Postgres 的 PDO 在内部使用游标。

Answer 2

显然 PDO::CURSOR_FWDONLY 不使用游标。黑盒测试：

(0) 准备工作：

$con = new \PDO('dsn');
// you'll get "NO ACTIVE TRANSACTION" otherwise
$con->beginTransaction();

$sql = 'select * from largetable';

(1) 默认 - 永远运行：

$stmt = $con->prepare($sql);
$stmt->execute();
print_r($stmt->fetch());

(2) FWDONLY - 永远运行：

$stmt = $con->prepare($sql, array(\PDO::ATTR_CURSOR => \PDO::CURSOR_FWDONLY));
$stmt->execute();
print_r($stmt->fetch());

(3) 可滚动 - 瞬间运行：

$stmt = $con->prepare($sql, array(\PDO::ATTR_CURSOR => \PDO::CURSOR_SCROLL));
$stmt->execute();
print_r($stmt->fetch());

我打开 PG 日志记录只是为了确定，确实如此 -只有 SCROLL 使用游标。

因此，使用游标的唯一方法是使用 SCROLL，至少在 PHP 5.4.23 中是这样。