在 C# 中调整 HttpWebRequest 连接超时

Question

我相信经过长时间的研究和搜索，我发现通过设置异步连接并在所需的超时后终止它可能会更好地满足我想要做的事情......但无论如何我都会继续询问！< /em>

快速代码片段：

HttpWebRequest webReq = (HttpWebRequest)HttpWebRequest.Create(url);
webReq.Timeout = 5000;
HttpWebResponse response = (HttpWebResponse)webReq.GetResponse(); 
// this takes ~20+ sec on servers that aren't on the proper port, etc.

我在多线程应用程序中有一个 HttpWebRequest 方法，在该方法中我连接到大量公司 Web 服务器。在服务器没有响应的情况下，HttpWebRequest.GetResponse() 大约需要 20 秒才会超时，即使我只指定了 5 秒的超时。为了定期访问服务器，我想跳过那些连接时间超过 5 秒的服务器。

所以问题是：“有没有一种简单的方法来指定/减少 WebRequest 或 HttpWebRequest 的连接超时？”

Answer 1

我相信问题在于 WebRequest 仅在实际发出请求后才测量时间。如果您向同一地址提交多个请求，则 ServicePointManager 将限制您的请求，并且仅实际提交与相应 ServicePoint.ConnectionLimit 默认情况下从 ServicePointManager.DefaultConnectionLimit。应用程序 CLR 主机将此设置为 2，ASP 主机设置为 10。因此，如果您有一个多线程应用程序向同一主机提交多个请求，则实际上只有两个请求被放置在线路上，其余的将排队。

我还没有研究过这是否确实发生了确凿的证据，但在一个类似的项目中，我遇到了可怕的事情，直到我删除了 ServicePoint 限制。

另一个需要考虑的因素是 DNS 查找时间。再说一次，我的信念没有确凿的证据支持，但我认为 WebRequest 确实没有根据请求超时计算 DNS 查找时间。在某些部署中，DNS 查找时间可能会显示为非常大的时间因素。

是的，您必须围绕 编写应用程序WebRequest.BeginGetRequestStream（用于带有内容的POST）和WebRequest.BeginGetResponse（对于 GET 和 POSTS）。同步调用不会扩展（我不会详细说明原因，但我确实有确凿的证据证明这一点）。无论如何，ServicePoint 问题与此正交：排队行为也会发生在异步调用中。

Answer 2

很抱歉继续旧话题，但我认为上面所说的内容可能不正确/具有误导性。

据我所知，超时不是连接时间，而是 HttpWebRequest 和响应的整个生命周期允许的总时间。证明：

我设置：

.Timeout=5000
.ReadWriteTimeout=32000

HttpWebRequest 的连接和发布时间花费了 26 毫秒，

但后续调用 HttpWebRequest.GetResponse() 在 4974 毫秒内超时，从而证明 5000 毫秒是整个发送请求/获取响应调用集的时间限制。

我没有验证 DNS 名称解析是否作为时间的一部分进行测量，因为这与我无关，因为这些都没有按照我真正需要的方式工作——我的目的是在连接到以下系统时更快地超时不接受连接，如它们在请求的连接阶段失败所示。

例如：我愿意在有机会返回结果的连接请求上等待 30 秒，但我只想花 10 秒的时间来等待向行为异常的主机发送请求。

Answer 3

我后来发现有帮助的是 .ReadWriteTimeout 属性。除了 .Timeout 属性之外，这似乎最终减少了线程尝试从有问题的服务器下载所花费的时间。 .ReadWriteTimeout 的默认时间是 5 分钟，这对于我的应用程序来说太长了。

所以，在我看来：

.Timeout = 尝试建立连接所花费的时间（不包括查找时间）
.ReadWriteTimeout = 连接建立后尝试读取或写入数据所花费的时间

更多信息：HttpWebRequest.ReadWriteTimeout 属性

编辑：

根据 @KyleM 的评论，Timeout 属性适用于整个连接尝试，在 MSDN 上阅读它显示：

Timeout 是使用 GetResponse 方法发出的后续同步请求等待响应以及 GetRequestStream 方法等待流的毫秒数。 超时适用于整个请求和响应，而不是单独适用于 GetRequestStream 和 GetResponse 方法调用。如果在超时期限内未返回资源，则请求将引发设置了 Status 属性的 WebException到 WebExceptionStatus.Timeout。

（强调我的。）

Answer 4

无论我们如何尝试，当我们检查的服务器关闭时，我们都无法将超时时间控制在 21 秒以下。

为了解决这个问题，我们结合了 TcpClient 检查来查看域是否处于活动状态，然后进行单独的检查来查看 URL 是否处于活动状态

public static bool IsUrlAlive(string aUrl, int aTimeoutSeconds)
{
    try
    {
        //check the domain first
        if (IsDomainAlive(new Uri(aUrl).Host, aTimeoutSeconds))
        {
            //only now check the url itself
            var request = System.Net.WebRequest.Create(aUrl);
            request.Method = "HEAD";
            request.Timeout = aTimeoutSeconds * 1000;
            var response = (HttpWebResponse)request.GetResponse();
            return response.StatusCode == HttpStatusCode.OK;
        }
    }
    catch
    {
    }
    return false;

}

private static bool IsDomainAlive(string aDomain, int aTimeoutSeconds)
{
    try
    {
        using (TcpClient client = new TcpClient())
        {
            var result = client.BeginConnect(aDomain, 80, null, null);

            var success = result.AsyncWaitHandle.WaitOne(TimeSpan.FromSeconds(aTimeoutSeconds));

            if (!success)
            {
                return false;
            }

            // we have connected
            client.EndConnect(result);
            return true;
        }
    }
    catch
    {
    }
    return false;
}

Answer 5

来自 HttpWebRequest.Timeout 属性的文档：

域名系统 (DNS) 查询可能会
最多需要 15 秒才能返回或
暂停。如果您的请求包含
需要解析的主机名和
您将超时设置为小于
15 秒，可能需要 15 秒或
在抛出 WebException 之前进行更多操作
指示您的请求超时。

您的 DNS 查询是否可能是超时的原因？