PHP内存调试

Question

对于我的项目之一，我需要导入一个非常大的文本文件（~ 950MB）。我正在使用 Symfony2 &我的项目的原则 2。

我的问题是，我收到如下错误：

Fatal error: Allowed memory size of 33554432 bytes exhausted (tried to allocate 24 bytes)

如果我将内存限制增加到 1GB，甚至会出现该错误。

我尝试使用 XDebug 和 KCacheGrind （作为 PHPEdit 的一部分）来分析问题，但我并不真正理解这些值:(

我正在寻找一个工具或方法（快速和简单，因为我没有太多时间）来找出为什么内存被分配并且没有再次释放

编辑

要清除这里的一些内容是我的代码：

$handle = fopen($geonameBasePath . 'allCountries.txt','r');

        $i = 0;
        $batchSize = 100;

        if($handle) {
            while (($buffer = fgets($handle,16384)) !== false) {

                if( $buffer[0] == '#') //skip comments
                    continue;
                //split parts
                $parts = explode("\t",$buffer);


                if( $parts[6] != 'P')
                    continue;

                if( $i%$batchSize == 0 )    {
                    echo 'Flush & Clear' . PHP_EOL;
                    $em->flush();
                    $em->clear();
                }

                $entity = $em->getRepository('MyApplicationBundle:City')->findOneByGeonameId( $parts[0] );
                if( $entity !== null)   {
                    $i++;
                    continue;
                }

                //create city object
                $city = new City();

                $city->setGeonameId( $parts[0] );
                $city->setName( $parts[1] );
                $city->setInternationalName( $parts[2] );
                $city->setLatitude($parts[4] );
                $city->setLongitude( $parts[5] );
                $city->setCountry( $em->getRepository('MyApplicationBundle:Country')->findOneByIsoCode( $parts[8] ) );

                $em->persist($city);

                unset($city);
                unset($entity);
                unset($parts);
                unset($buffer);

                echo $i . PHP_EOL;


                $i++;
            }
        }

        fclose($handle);

我已经尝试过，但没有任何帮助：

1. 添加第二个参数。 fgets
2. 增加内存限制
3. 取消设置变量

Answer 1

增加内存限制是不够的。当导入这样的文件时，您可以缓冲读取。

$f = fopen('yourfile');
while ($data = fread($f, '4096') != 0) {
    // Do your stuff using the read $data
}
fclose($f);

更新：

使用 ORM 时，您必须了解在刷新调用之前实际上没有任何内容插入到数据库中。这意味着所有这些对象都由标记为“要插入”的 ORM 存储。只有当进行flush调用时，ORM才会检查集合并开始插入。

解决方案 1：经常冲洗。并且清晰。

解决方案 2：不要使用 ORM。使用简单的 SQL 命令。它们占用的内存比对象 + ORM 解决方案要少得多。

Answer 2

33554432 是 32MB

更改 php.ini 中的内存限制，例如 75MB

memory_limit = 75M

并重新启动服务器

Answer 3

您应该逐行读取文件，而不是简单地读取文件。每次您阅读一行时，您都应该处理您的数据。不要试图将所有内容都放入内存中。你会失败的。原因是，虽然您可以将 TEXT 文件放入 ram 中，但您将无法同时将数据作为 php 对象/变量/whathaveyou，因为 php 本身需要大量的内存来存储每个文件。其中。

我建议的是
a) 读取新行，
b) 解析该行中的数据
c) 创建新对象以存储在数据库中
d) 转到步骤 a，首先取消设置（ting）旧对象或重用它的内存