HttpWebRequest 逐渐停止，可能只是由于页面大小

Question

我有一个 WPF 应用程序，它处理大量 url（数千个），每个 url 发送到它自己的线程，进行一些处理并将结果存储在数据库中。

网址可以是任何内容，但有些似乎是非常大的页面，这似乎会大幅增加内存使用量并使性能非常糟糕。我在网络请求上设置了超时，因此如果花费的时间超过 20 秒，则不会影响该 url，但似乎没有太大区别。

这是代码部分：

               HttpWebRequest req = (HttpWebRequest)HttpWebRequest.Create(urlAddress.Address);
                            req.Timeout = 20000;
                            req.ReadWriteTimeout = 20000;
                            req.Method = "GET";
                            req.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;

                            using (StreamReader reader = new StreamReader(req.GetResponse().GetResponseStream()))
                            {
                                pageSource = reader.ReadToEnd();
                                req = null;
                            }

它似乎还停止/增加 reader.ReadToEnd(); 上的内存；

我本以为中断 20 秒会有所帮助，有更好的方法吗？我认为使用异步 Web 方法没有太大优势，因为无论如何每个 url 下载都在其自己的线程上。

谢谢

Answer 1

一般来说，建议您使用异步 HttpWebRequests 而不是创建自己的线程。我上面链接的文章还包括一些基准测试结果。

我不知道在阅读流结束后您正在对页面源做什么，但是 使用字符串可能是一个问题：

System.String 类型可用于任何 .NET 应用程序。我们有弦
如：名称、地址、描述、错误消息、警告甚至
应用程序设置。每个应用程序都必须创建、比较或
格式化字符串数据。考虑到不变性和任何事实
对象可以转换为字符串，所有可用内存都可以
被大量不需要的重复字符串或无人认领的字符串吞没
字符串对象。

其他一些建议：

• 您有任何防火墙限制吗？我在工作中遇到了很多问题，其中防火墙启用了速率限制，并且获取页面逐渐停止（我经常遇到这种情况） ！
• 我假设您将使用该字符串来解析 HTML，因此我建议您使用 Stream 初始化解析器，而不是传入包含页面源的字符串（如果可以选择） 。
• 如果您将页面源存储在数据库中，那么您无能为力。
• 尝试通过注释掉页面源的读取作为内存/性能问题的潜在贡献者。
• 使用流式 HTML 解析器，例如 Majestic 12-避免将整个页面源加载到内存中（同样，如果您需要解析）！
• 限制要下载的页面大小，例如仅下载 150KB。 平均页面大小约为100KB-130KB

另外，你能告诉我吗？我们您的初始抓取页面速率是多少？它会影响什么？当您获取页面时，您是否在网络请求中看到任何错误/异常？

更新

在评论部分我注意到您正在创建数千个线程，我想说您不需要这样做。从少量线程开始，然后不断增加它们，直到您看到系统的性能。一旦开始添加线程并且性能看起来逐渐下降，请停止添加线程。我无法想象您将需要超过 128 个线程（即使这看起来很高）。创建固定数量的线程，例如 64 个，让每个线程从队列中获取 URL，获取页面，处理它，然后返回再次从队列中获取页面。

Answer 2

您可以使用缓冲区进行枚举，而不是调用 ReadToEnd，如果花费的时间太长，那么您可以记录并放弃 - 类似于：

static void Main(string[] args)
{
  Uri largeUri = new Uri("http://www.rfkbau.de/index.php?option=com_easybook&Itemid=22&startpage=7096");
  DateTime start = DateTime.Now;
  int timeoutSeconds = 10;
  foreach (var s in ReadLargePage(largeUri))
  {
    if ((DateTime.Now - start).TotalSeconds > timeoutSeconds)
    {
      Console.WriteLine("Stopping - this is taking too long.");
      break;
    }

  }
}

static IEnumerable<string> ReadLargePage(Uri uri)
{            
  int bufferSize = 8192;
  int readCount;
  Char[] readBuffer = new Char[bufferSize];
  HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri); 
  using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())
  using (StreamReader stream = new StreamReader(response.GetResponseStream(), Encoding.UTF8))
  {
    readCount = stream.Read(readBuffer, 0, bufferSize);
    while (readCount > 0)
    {
      yield return new string(readBuffer, 0, bufferSize);
      readCount = stream.Read(readBuffer, 0, bufferSize);
    }
  }
}

Answer 3

Lirik 的总结非常好。

我想补充一点，如果我要实现这一点，我将创建一个单独的进程来读取页面。所以，这将是一个管道。第一阶段将下载 URL 并将其写入磁盘位置。然后将该文件排队到下一阶段。下一阶段从磁盘读取并进行解析和处理。数据库更新。这样您也将获得下载和解析的最大吞吐量。您还可以调整线程池，以便有更多的工作人员进行解析等。这种架构也非常适合分布式处理，您可以在其中一台机器上下载，另一台主机上解析等。

另一件需要注意的事情是，如果您从多个线程访问同一服务器（即使您使用异步），那么您将遇到最大传出连接限制。您可以限制自己以保持在该值以下，或者增加 ServicePointManager 类的连接限制。