使用 WebClient 获取 HTTP 中的奇怪超时 WebException

Question

我有一个多线程应用程序（在 C# 中），它对 uri 执行多个 HTTP GET 操作。 突然，在数千个请求之后，我收到超时 webException，但如果我使用浏览器进行测试，目标服务器就可以了。 代码是：

public static string Get(string uri)
{
    string responseData = string.Empty;
    using (WebClient wc = new WebClient())
    {
        responseData = wc.DownloadString(uri);
    }
    return responseData;
}

我认为这是处理连接问题或类似错误。 任何身体都有同样的问题吗？

提前谢谢，

PS 我也使用过 HttpWebResponse 。 但我得到同样的错误。

PS操作系统是Windows 2003服务器。 所以我认为不是连接限制。

我也尝试过这段代码，但得到了同样的错误

  public static string Get2(string uri)
    {
        string responseData = string.Empty;                
        WebRequest request = WebRequest.Create(uri) as HttpWebRequest;
        request.Method = "GET";
        request.Timeout = 35000;    
        using(HttpWebResponse response = (HttpWebResponse)request.GetResponse() as HttpWebResponse)
        {                   
            using(Stream dataStream = response.GetResponseStream ())
            {                   
                using(StreamReader reader = new StreamReader (dataStream))
                {
                    responseData = reader.ReadToEnd();                      
                }
            }
        }           
        return responseData;
    }

Answer 1

快速问题

1. 服务器也是您的代码吗？
2. 有多少是多个请求？
3. 在您的服务器上尝试 ping -t 并
   查看是否有丢包的报告
   从您的客户端计算机。

您是否想过，服务器可能会耗尽处理您的请求的所有资源，然后简单地自行重新启动。 这就是为什么当您执行查询时会出现超时，但当您执行浏览器 ping 时，它会备份。 只是一个想法

既然您提到“数千个请求”，我更倾向于认为服务器上的资源紧缩而不是连接问题。

Answer 2

这可能是由多种原因造成的，包括：

• 短暂的连接中断
  您的应用程序和
  远程 Web 服务器

• 由于负载，远程服务器可能无法及时响应

我建议在请求上设置更长的超时，但您需要使用WebRequest 因为无法在 WebClient 上设置超时。

Answer 3

我自己遇到过这个问题，我发现有效的办法是在该线程上短暂的 Wait() 5 秒后尝试多次获取请求，如果它不起作用，最好让服务器单独运行一段时间。 :-)

Answer 4

一种可能性是端口耗尽。

您将针对每个新请求创建一个新的 WebClient。 这意味着它将在每个请求上获取一个新的 TCP 连接和端口。 在 Windows 机器上，端口仅在 16 位范围内，因此 0 - 65535 并且操作系统对此范围施加了进一步的限制。

如果您在 Windows 计算机上执行 NETSTAT -on a，您将看到连接及其分配的端口列表。

问题是端口只有在进入 TIME_WAIT 状态 > 30 秒后才会返回。 这意味着，如果您每 30 秒以内发出一个新请求，您最终将耗尽端口，并且会发生不好的事情。

我建议创建一个 WebClient 并重用它。 您不仅可以避免上述问题，而且性能也更高。