为什么有效URL上的PHP多卷曲返回错误页面

Question

我想从中获取数据的URL数量很大（约50.000）。为了使执行更快，我决定在PHP中使用Multi_curl。一个Multi_curl包含30个URL，因为我注意到，每当我在Multi_curl中添加更多URL时，就会丢失一些HTML元素。使用30个URL包装后，我注意到了另一个问题。从卷发中获取HTML时，几个URL仅返回一个404错误页面，因为它们是有效的URL，因此不应该这样。这些URL在为每个URL进行单个卷曲重试时确实有效。这是Multi_curl的已知问题，是否有修复程序？

设置URL并将它们添加到数组中：

foreach ($urls as $id => $url) {
            $ch = curl_init();
        
            // Set all your options for each connection here
            curl_setopt($ch, CURLOPT_URL, $url);
            curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
            curl_setopt($ch, CURLOPT_HEADER, 0); 
            curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
            curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
            curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
            curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.7.12) Gecko/20050915 Firefox/1.0.7");
    
            $curls[$url] = $ch;
            curl_multi_add_handle($cmh,$ch);
            $urlCtr++;
        }

执行Multi_curl Handles：

do {
            $mrc = curl_multi_exec($cmh, $active);
        }
        while ($mrc == CURLM_CALL_MULTI_PERFORM);
    
        while ($active && $mrc == CURLM_OK) {
            if (curl_multi_select($cmh) != -1) {
                do {
                    $mrc = curl_multi_exec($cmh, $active);
                } while ($mrc == CURLM_CALL_MULTI_PERFORM);
            }
        }

从Curls中获取HTML-DATA：

foreach ($curls as $url=>$ch) {
            if($updateCtr == 7)
            {
                $f = 0;
            }
            $response = curl_multi_getcontent($ch); // get the content
                    // do what you want with the HTML
            
            file_put_contents("sqlCommands.txt",$response);
            $html = new simple_html_dom($response);
            $list = $html->find('table[class="ta"]', 0);
            curl_multi_remove_handle($cmh, $ch);}

我非常感谢您的帮助，谢谢！