优化异步查找算法

Question

我有一系列连续命名的页面（URL，例如：http://example.com/book/1、http://example.com/book/2 等）但我没有办法提前知道有多少页。我需要检索每个页面（的特定部分），按顺序保持获取的信息，不遗漏任何页面，并请求最少量的空页面。

目前，我有一个递归异步函数，有点像这样：

pages = []

getPage = (page = 1) ->
  xhr.get "http://example.com/book/#{1}", (response) ->
    if isValid response
      pages.push response
      getPage page++
    else
      event.trigger "haveallpages"

getPage()

xhr.get 和 event.trigger 是伪代码，目前是 jQuery 方法（但这可能会改变） ）。 isValid 也是伪代码，实际上测试是在函数内定义的，但它很复杂并且与问题无关。

这种方法效果很好，但速度很慢，因为一次只处理一个请求。我正在寻找一种更好地利用 XHR 的异步特性并在更短的时间内检索完整列表的方法。有什么模式可以帮助我吗？或者更好的算法？

Answer 1

只需触发同时发出的请求，同时记录它们的数量即可。无需猜测上限，只需在请求开始失败时停止，就像在原始代码中一样。

这最多会产生 concurrency-1 个浪费的请求：

pages        = []
concurrency  = 5
currentPage  = 0
haveAllPages = false

getPage = (p) ->
  xhr.get "http://example.com/book/#{p}", (response) ->
    if isValid response
      pages.push response
      getPage ++currentPage if not haveAllPages
    else
      haveAllPages = true

while concurrency--
    getPage ++currentPage