F# 风格异步工作流的 WebRequest 超时

Question

对于更广泛的上下文，这里是我的代码，下载URL 列表。

在我看来，在使用 use! 时，没有好的方法来处理 F# 中的超时！ response = request.AsyncGetResponse() 样式 URL 获取。我几乎一切都按我希望的方式工作（错误处理和异步请求和响应下载），避免了网站需要很长时间响应时出现的问题。我当前的代码只是无限期地挂起。我已经在我编写的等待 300 秒的 PHP 脚本上尝试过了。它一直在等待。

我找到了两种“解决方案”，这两种方案都是不可取的。

AwaitIAsyncResult + BeginGetResponse

就像ildjarn在这个其他堆栈溢出问题。这样做的问题是，如果您已将许多异步请求排队，则某些请求会在 AwaitIAsyncResult 上被人为阻止。换句话说，发出请求的调用已经发出，但幕后的某些东西正在阻止调用。这会导致在发出许多并发请求时过早触发 AwaitIAsyncResult 超时。我的猜测是对单个域的请求数量的限制或只是对总请求的限制。

为了支持我的怀疑，我编写了一个小 WPF 应用程序来绘制请求开始和结束的时间线。在上面链接的代码中，请注意计时器在第 49 行和第 54 行（调用第 10 行）开始和停止。这是生成的时间线图像。

当我将计时器开始移动到初始响应之后（因此我只计时内容的下载）时， 时间线看起来更加真实。请注意，这是两次单独的运行，但除了计时器启动的位置之外，没有任何代码更改。而不是在使用之前直接测量startTime！ response = request.AsyncGetResponse()，我之后就直接得到了。

为了进一步支持我的主张，我用 Fiddler2 制作了一个时间表。这是生成的时间线。 显然，请求并没有完全按照我的指示开始。

新线程中的 GetResponseStream

换句话说，同步请求和下载调用是在辅助线程中进行的。这确实有效，因为GetResponseStream尊重WebRequest对象上的Timeout属性。但在此过程中，我们失去了所有的等待时间，因为请求已在网上，而响应尚未返回。我们不妨用 C# 编写它...;)

问题

• 这是一个已知问题吗？
• 是否有任何好的解决方案可以利用 F# 异步工作流程并仍然允许超时和错误处理？
• 如果问题确实是我一次发出太多请求，那么限制请求数量的最佳方法是使用 Semaphore(5, 5) 或类似的东西吗？
• 附带问题：如果您查看了我的代码，您能看到我做过并且可以修复的任何愚蠢的事情吗？

如果您有任何困惑，请告诉我。

Answer 1

AsyncGetResponse 简单地忽略发布的任何超时值...这是我们刚刚制定的解决方案：

open System
open System.IO
open System.Net

type Request = Request of WebRequest * AsyncReplyChannel<WebResponse>

let requestAgent =
    MailboxProcessor.Start <| fun inbox -> async {
            while true do
                let! (Request (req, port)) = inbox.Receive ()

                async {
                    try
                        let! resp = req.AsyncGetResponse ()
                        port.Reply resp
                    with
                    | ex -> sprintf "Exception in child %s\n%s" (ex.GetType().Name) ex.Message |> Console.WriteLine
                } |> Async.Start
        }

let getHTML url =
    async {
        try
            let req = "http://" + url |> WebRequest.Create
            try
                use! resp = requestAgent.PostAndAsyncReply ((fun chan -> Request (req, chan)), 1000)
                use str = resp.GetResponseStream ()
                use rdr = new StreamReader (str)
                return Some <| rdr.ReadToEnd ()
            with
            | :? System.TimeoutException ->
                req.Abort()
                Console.WriteLine "RequestAgent call timed out"
                return None
        with
        | ex ->
            sprintf "Exception in request %s\n\n%s" (ex.GetType().Name) ex.Message |> Console.WriteLine
            return None
    } |> Async.RunSynchronously;;

getHTML "www.grogogle.com"

即我们委托给另一个代理并调用它提供异步超时...如果我们没有在指定的时间内从代理那里得到回复是时候我们中止请求并继续前进了。

Answer 2

我发现我的其他答案可能无法回答您的特定问题...这是不需要使用信号量的任务限制器的另一个实现。

open System

type IParallelLimiter =
    abstract GetToken : unit -> Async<IDisposable>

type Message= 
    | GetToken of AsyncReplyChannel<IDisposable>
    | Release

let start count =
    let agent =
        MailboxProcessor.Start(fun inbox ->
            let newToken () =
                { new IDisposable with
                    member x.Dispose () = inbox.Post Release }

            let rec loop n = async {
                    let! msg = inbox.Scan <| function
                        | GetToken _ when n = 0 -> None
                        | msg -> async.Return msg |> Some

                    return!
                        match msg with
                        | Release ->
                            loop (n + 1)
                        | GetToken port ->
                            port.Reply <| newToken ()
                            loop (n - 1)
                }
            loop count)

    { new IParallelLimiter with
        member x.GetToken () =
            agent.PostAndAsyncReply GetToken}

let limiter = start 100;;

for _ in 0..1000 do
    async {
        use! token = limiter.GetToken ()
        Console.WriteLine "Sleeping..."
        do! Async.Sleep 3000
        Console.WriteLine "Releasing..."
    } |> Async.Start