服务器上的 cURL 超时，但本地主机上没有

Question

陷入这个特定问题。我的代码可以从论坛（即 www.q8yat.net ）获取大量页面。现在我有一个循环，使用curl 从论坛获取页面。在我的本地主机上一切正常。但是，当我将文件上传到服务器上并尝试获取页面时，通常会在加载固定数量的页面后收到连接超时错误，但情况并非总是如此。我正在使用的curl选项是：

$options = array(
     CURLOPT_RETURNTRANSFER => true,     // return web page
     CURLOPT_HEADER         => false,    // don't return headers
     CURLOPT_FOLLOWLOCATION => true,     // follow redirects
     CURLOPT_ENCODING       => "",       // handle all encodings
     CURLOPT_USERAGENT      => "spider", // who am i
     CURLOPT_AUTOREFERER    => true,     // set referer on redirect
     CURLOPT_CONNECTTIMEOUT => 1,      // timeout on connect
     CURLOPT_TIMEOUT        => 1200,      // timeout on response
     CURLOPT_MAXREDIRS      => 10,       // stop after 10 redirects

 );

我的服务器的phpinfo：http://topics4today。 com/public/02_12_2010/fcrawl/src/phpinfo.php

好吧，我相信论坛正在使用 apache 模块：'mod_bwlimited' 来限制我可以根据我的 IP 请求的数据量。一种可能性。

Answer 1

好的，论坛正在使用 apache 模块：'mod_bwlimited' 来限制我可以根据我的 IP 请求的数据量。可以通过在每次运行脚本时仅请求有限数量的页面来解决问题。例如，您的脚本运行，请求 2 页，停止，然后再次启动（使用 javascript 计时器）并请求另外 2 页，这会循环进行。