PHP 脚本逐渐变慢（文件读取器）

Question

我有一个脚本，当与计时器放在一起时，它会逐渐变慢。它非常简单，因为它所做的只是读取一行，检查它然后将其添加到数据库中，然后继续处理下一行。

这是它的输出逐渐变得更糟：

Record: #1,001 Memory: 1,355,360kb taking 1.84s
Record: #1,001 Memory: 1,355,360kb taking 1.84s
Record: #2,002 Memory: 1,355,192kb taking 2.12s
Record: #3,003 Memory: 1,355,192kb taking 2.39s
Record: #4,004 Memory: 1,355,192kb taking 2.65s
Record: #5,005 Memory: 1,355,200kb taking 2.94s
Record: #6,006 Memory: 1,355,376kb taking 3.28s
Record: #7,007 Memory: 1,355,176kb taking 3.56s
Record: #8,008 Memory: 1,355,408kb taking 3.81s
Record: #9,009 Memory: 1,355,464kb taking 4.07s
Record: #10,010 Memory: 1,355,392kb taking 4.32s
Record: #11,011 Memory: 1,355,352kb taking 4.63s
Record: #12,012 Memory: 1,355,376kb taking 4.90s
Record: #13,013 Memory: 1,355,200kb taking 5.14s
Record: #14,014 Memory: 1,355,184kb taking 5.43s
Record: #15,015 Memory: 1,355,344kb taking 5.72s

不幸的是，该文件大约有 20GB，所以当整个文件以增加的速度读取时我可能已经死了。代码（主要）在下面，但我怀疑它与 fgets() 有关，但我不确定是什么。

    $handle = fopen ($import_file, 'r');

    while ($line = fgets ($handle))
    {
        $data = json_decode ($line);

        save_record ($data, $line);
    }

提前致谢！

编辑：

注释掉“save_record ($data, $line);”似乎什么也没做。

Answer 1

有时最好使用系统命令来读取这些大文件。我遇到了类似的情况，这是我使用的一个小技巧：

$lines = exec("wc -l $filename");
for($i=1; $i <= $lines; $i++) {
   $line = exec('sed \''.$i.'!d\' '.$filename);

   // do what you want with the record here
}

我不会推荐对不可信的文件使用此方法，但它运行速度很快，因为它使用系统一次提取一条记录。希望这有帮助。

Answer 2

http://php.net/manual/en/function.fgets.php

根据 Leigh Purdie 的评论，使用 fgets 处理大文件时存在一些性能问题。如果你的 JSON 对象比他的测试线大，你可能会更快地

使用 http://php.net/manual/en/function.stream-get-line.php 并指定长度限制

Answer 3

好吧，性能问题。显然，有些东西不应该是二次方的，或者更重要的是，应该是恒定时间的东西似乎与迄今为止处理的记录数量呈线性关系。第一个问题是显示问题的最小代码片段是什么。我想知道当您注释掉除逐行读取文件之外的所有内容时是否会遇到相同的问题行为。如果是这样，那么您将需要一种没有这个问题的语言。 （有很多。）无论如何，一旦您看到预期的时间特征，就将语句一一添加回来，直到您的计时变得混乱为止，您就会发现问题。

你用某种仪器来获取时间。通过单独执行 15000 次左右来确保它们不会导致问题。

Answer 4

我在试图找到一种方法让我更快地浏览 96G 文本文件时发现了这个问题。我最初编写的脚本花了 15 个小时才达到 0.1%...

我已经尝试了这里建议的一些解决方案，使用stream_get_line、fgets 和 exec for sed。我最终采用了一种不同的方法，我想我会与其他遇到这个问题的人分享。

分割文件！ :-)

在我的 freebsd 机器上（对于 linux 和其他系统也存在）我有一个名为“split”的命令行实用程序。

usage: split [-l line_count] [-a suffix_length] [file [prefix]]
       split -b byte_count[K|k|M|m|G|g] [-a suffix_length] [file [prefix]]
       split -n chunk_count [-a suffix_length] [file [prefix]]
       split -p pattern [-a suffix_length] [file [prefix]]

所以我跑了：

split -l 25000 -a 3 /data/var/myfile.log /data/var/myfile-log/

然后我在 /data/var/myfile-log/ 目录中得到了 5608 个文件，然后可以使用如下命令一次处理所有文件：

php -f do-some-work.php /data/var/myfile-log/*