如果应用程序在 Google App Engine 上调用超过 10 个异步 URL 提取，会发生什么情况？

Question

阅读有关异步网址提取的 Google App Engine文档：

该应用程序最多可以同时运行 10 个 异步 URL 获取调用

如果应用程序一次调用超过 10 个异步获取，会发生什么情况？
Google App Engine 是否会引发异常或只是将剩余的调用排队等待为其提供服务？

Answer 1

嗯，Swizzec 是不正确的。足够容易测试：

rpc = []
for i in range(1,20):
    rpc.append(urlfetch.createrpc())
    urlfetch.make_fetch_call(rpc[-1],"http://stackoverflow.com/questions/3639855/what-happens-if-i-call-more-than-10-asynchronous-url-fetch")

for r in rpc:
    response = r.get_result().status_code

这不会返回任何异常。事实上，这很好用！请注意，对于非计费应用程序，您的结果可能会有所不同。

Swizec 报告的是一个不同的问题，与应用程序的最大同时连接数有关。顺便说一句，对于计费应用程序，这里没有实际限制，它只是横向扩展（遵守 1000 毫秒规则）。

GAE 无法知道您的请求处理程序将发出阻塞 URL 获取，因此他看到的连接 500 与他的应用程序实际执行的操作无关（顺便说一句，如果您的平均请求响应时间 > 1000 毫秒，那么这是一个过于简单化的情况） 500 的可能性增加）。

Answer 2

这是一个老问题，但我相信接受的答案是不正确或过时的，可能会让人们感到困惑。我实际上已经测试了几个月了，但根据我的经验，Swizec 是完全正确的，即 GAE 不会排队，而是会导致大多数异步 URL 获取超过每个请求大约 10 个并发请求的限制。

请参阅 https://developers.google.com/appengine/docs/python/urlfetch/#Python_Making_requests 和 https://groups.google.com/forum/#!topic/google-appengine /EoYTmnDvg8U 了解限制的说明。

David Underhill 提出了一个Python 的 URL 获取管理器，它对超出应用程序代码限制的异步 URL 获取进行排队。

我已经为 Java 实现了类似的东西，它同步阻止（由于缺少回调函数或 ListenableFutures）额外的请求：

/**
 * A URLFetchService wrapper that ensures that only 10 simultaneous asynchronous fetch requests are scheduled. If the
 * limit is reached, the fetchAsync operations will block until another request completes.
 */
public class BlockingURLFetchService implements URLFetchService {
    private final static int MAX_SIMULTANEOUS_ASYNC_REQUESTS = 10;

    private final URLFetchService urlFetchService = URLFetchServiceFactory.getURLFetchService();
    private final Queue<Future<HTTPResponse>> activeFetches = new LinkedList<>();

    @Override
    public HTTPResponse fetch(URL url) throws IOException {
        return urlFetchService.fetch(url);
    }

    @Override
    public HTTPResponse fetch(HTTPRequest request) throws IOException {
        return urlFetchService.fetch(request);
    }

    @Override
    public Future<HTTPResponse> fetchAsync(URL url) {
        block();

        Future<HTTPResponse> future = urlFetchService.fetchAsync(url);
        activeFetches.add(future);
        return future;
    }

    @Override
    public Future<HTTPResponse> fetchAsync(HTTPRequest request) {
        block();

        Future<HTTPResponse> future = urlFetchService.fetchAsync(request);
        activeFetches.add(future);
        return future;
    }

    private void block() {
        while (activeFetches.size() >= MAX_SIMULTANEOUS_ASYNC_REQUESTS) {
            // Max. simultaneous async requests reached; wait for one to complete
            Iterator<Future<HTTPResponse>> it = activeFetches.iterator();
            while (it.hasNext()) {
                if (it.next().isDone()) {
                    it.remove();
                    break;
                }
            }
        }
    }
}

Answer 3

500 个错误开始发生。默默。

只有当您查看所有请求下的日志时，您才会发现这些信息（不会被列为错误）。它只是说“请求被中止，因为您达到了并发请求限制”。

因此，当您进行大量异步调用时，请确保您可以处理其中一些异常调用。

Answer 4

看看这是否能解答您的问题：

http://groups. google.com/group/google-appengine/browse_thread/thread/1286139a70ef83c5?fwc=1