批处理 php 的 fgetcsv

Question

我有一个相当大的 csv 文件（至少对于网络而言），我无法控制。它有大约 100k 行，并且只会变得更大。

我使用 Drupal Module Feeds 基于此数据创建节点，并且它们的解析器以 50 行为一组进行批处理解析。然而，他们的解析器无法正确处理引号，并且无法解析大约 60% 的 csv 文件。 fgetcsv 可以工作，但据我所知不能批量处理。

当尝试使用 fgetcsv 读取整个文件时，PHP 最终耗尽了内存。因此，我希望能够将事物分解成更小的块。这可能吗？

Answer 1

fgetcsv() 的工作原理是从给定的文件指针一次读取一行。如果 PHP 内存不足，也许您正在尝试立即解析整个文件，将其全部放入一个巨大的数组中。解决方案是逐行处理它，而不将其存储在大数组中。

要更直接地回答批处理问题，请从文件中读取 n 行，然后使用 ftell() 查找文件中结束的位置。记下这一点，然后您可以在将来的某个时刻通过在 fgetcsv() 之前调用 fseek() 返回到这一点。

Answer 2

好吧，创建一个函数来解析一堆行：

function parseLines(array $lines) {
    foreach ($lines as $line) {
        //insert line into new node
    }
}

然后，只需将其批处理：

$numberOfLinesToBatch = 50;
$f = fopen($file, 'r');
if (!$f) die('implement better error checking');

$buffer = array();
while ($row = fgetcsv($f)) {
    $buffer[] = $row;
    if (count($buffer) >= $numberOfLinesToBatch) {
        parseLines($buffer);
        $buffer = array();
    }
}
if (!empty($buffer)) {
    parseLines(buffer);
}

fclose($f);

它将数据流入，您可以通过调整变量来调整它缓冲的行数......

Answer 3

我怀疑问题在于您在内存中存储了太多信息，而不是如何从磁盘读取 CSV 文件。 （即：fgetcsv一次只会读取一行，因此，如果单行数据导致您耗尽内存，那么您就会遇到麻烦。）

因此，您只需要使用一种方法：

1. 读取将“x”行放入数组中。
2. 处理此信息
3. 清除所有临时变量/数组。
4. 重复直到 FEOF。

或者，您可以通过 PHP 的命令行版本执行 CSV 处理，并使用具有更大内存限制的自定义 php.ini。