PHP cURL“致命错误：允许的内存大小”对于大数据集

Question

我知道设置内部存储器的选项

ini_set("memory_limit","30M");

，但我想知道是否有更好的方法来查询数据？

我有一个 WHILE 循环来检查是否需要查询另外 1000 条记录。 使用偏移量作为起始记录号和限制作为返回的记录，我搜索与我的数据请求匹配的所有记录。在出现错误之前，我的记录已达到大约 100K。

现在，在测试过程中，我发现出现“致命错误：允许的内存大小...”错误。我已经通过设置上面的 ini_set() 来允许增加内存来阅读，但我想知道是否可以更好地编码？

每次我在 WHILE 循环中执行下面的代码时，内存使用量都会变得非常大。即使我取消设置($curl)。我认为如果我可以在下一个 cURL 查询之前解析出结果后取消设置 $result 和 $curl 变量，那么它可以减少。

function getRequest($url,$user,$pwd) {

    $curl = curl_init();

    curl_setopt($curl, CURLOPT_VERBOSE, 1);
    curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 2);
    curl_setopt($curl, CURLOPT_HEADER, 0);
    curl_setopt($curl, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curl, CURLOPT_USERPWD, "$user:$pwd");
    curl_setopt($curl, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_1);
    curl_setopt($curl, CURLOPT_ENCODING, '');
    curl_setopt($curl, CURLOPT_URL, $url);

    $result = curl_exec($curl);

    $httpResponseCode = (int)curl_getinfo($curl, CURLINFO_HTTP_CODE);

    switch ($httpResponseCode) {
        case 500:
            // Send problem email
            break;
        case 200:
            // GET was good
            break;
        default:
            // Send problem email
            break;
    }    
    curl_close($curl);
    return $result;
} 

WHILE LOOP（精简版）

while($queryFlag) { // $queryFlag is TRUE

        // Check if we have more records to query, if not set $queryFlag to FALSE

        // Build cURL URL

        echo "Before Call Memory Usage: ".memory_get_usage()."\n";
        $resultXML  = getRequest($query,$user,$pass);
        echo "After Call Memory Usage: ".memory_get_usage()."\n";

        $results        = new ParseXMLConfig((string)$resultXML); // This is basically a class for $this->xml = simplexml_load_string($xml);

        // Loop through results and keep what  I'm looking for
        foreach($results as $resultsKey => $resultsData) {
            if(preg_match('|^[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4}$|i', $resultsData)) {
                $resultsArr["$resultsData"] = $resultsData;
            }
        }

    }

一些内存编号

• 调用前内存使用量：1819736
• 调用后内存使用量：2285344
• 保留数据 我需要
• 转储数据 我不需要
• 下一个循环迭代
• 调用前内存使用量：2084128
• 调用后内存使用量：2574952

Answer 1

我猜您对 $resultsArr 使用了不正确的密钥。您使用相同的字符串作为键和值。

尝试更改

$resultsArr["$resultsData"] = $resultsData

为

$resultsArr[$resultsKey] = $resultsData

Answer 2

定居于：

ini_set("memory_limit","30M");

Answer 3

这是对OP问题的回应，“我可以写得更好吗？”。你问对了问题！干得好。

我遇到了与此类似的问题，其中有一个循环，并且循环中的某些内容正在消耗内存。我发现，我认为，因为我将想要“保留”的数据保存到对象（stdClass）中，所以这就是减慢速度的原因。我改变了它，而不是像这样：

$payloadObject->someNewAttribute = $data_i_want_to_keep;

我使用了索引数组：

$payload_array[] = $data_i_want_to_keep;

这对我来说很有效。

我在某处看到了一个测试（我自己尝试了一下，发现结果与我所看到的一致），用于获取/设置 stdClass 对象、关联数组和索引数组。我忘记了它是速度还是内存，但是设置 stdClass 使用更多内存/比设置关联数组键/值更慢，这比仅添加新的索引数组项更慢/使用更多内存。即：

//  slowest / most memory intensive
$some_stdClass_object->some_new_attribute = $data_I_want_to_keep;

//  slower / still memory intensive
$some_array["some_new_key"] = $data_I_want_to_keep;

//  optimal / fastest
$some_array[] = $data_I_want_to_keep;

在再次查看您的代码后，我注意到这一行（为了便于阅读而移动了注释）：

// This is basically a class for $this->xml = simplexml_load_string($xml);
$results        = new ParseXMLConfig((string)$resultXML);

看起来您正在将 xml 设置为类上的属性（无论类 $this 是什么）。这很可能就是消耗你记忆力的原因。也许查看该函数（ParseXMLConfig），看看是否可以将该数据保存到对象中，如果需要，可以将其保存在索引数组或关联数组中。