App Engine - 难以访问 Twitter 数据 - Flask

Question

我在使用 Google App Engine 从 Twitter 搜索 API 获取数据时遇到问题。在个人开发环境中工作我没有任何问题。我能够得到我想要的 JSON。但是，一旦代码部署到 App Engine，我就会遇到 HTTP 500 错误代码。

我对正在发生的事情的唯一想法是，我所缺少的开发环境和实时 App Engine 环境之间存在一些根本区别，并且/或 Twitter 拒绝了来自我运行的 App Engine IP 的请求。我写了一个小@app.route来绝对验证是否存在问题 - 如下。

我很确定我没有达到速率限制，因为 Twitter 搜索 API 没有明确设置速率限制。我看到他们请求了一个用户代理，所以我一直在提供，但我仍然收到相同的 500 错误。

我正在使用的实时版本在这里： http://1-alpha- 3.rich90usa.appspot.com/twitter_test

如果您对这里出现的问题有任何想法，我们将不胜感激。

Flask 中的相关部分：

@app.route('/twitter_test')
def twitter_test():
  twitter_geo_url = 'http://search.twitter.com/search.json?callback=?&rpp=100&geocode=29.6516344,-82.3248262,3mi'
  twitter_result = urlfetch.fetch(twitter_geo_url, fetch_headers)
  if twitter_result.status_code == 200:
    return twitter_result.content

其中“fetch_headers”先前定义为：

fetch_headers = {'User-Agent': "APPNAME-1-alpha-3"}

我的 Flask py 文件的顶部：

from flask import Flask, request, render_template, session, redirect
import oauth2 as oauth
import simplejson as json
import urlparse
import urllib
import httplib
import time

from google.appengine.api import urlfetch

Answer 1

正如 Calvin 指出的那样，所有 App Engine 应用程序都从同一 IP 池发出出站 HTTP 请求，因此问题几乎肯定是速率限制：

来自 http://dev.twitter.com/pages/rate-limiting：

但是，
所有来自某个 IP 地址的请求
应用于搜索速率限制。
未设置搜索率限制
公众劝阻不必要的
搜索使用和滥用，但它是
高于 REST 速率限制。我们
感觉搜索率限制是两者
自由且足以满足大多数人的需要
应用程序并知道许多
应用程序供应商已经发现了
适合他们的需求。

他们还特别指出 GAE 没有资格列入白名单：

应用程序必须具有静态 IP 才有资格列入白名单。这意味着大多数云平台（包括 Google App Engine）无法列入白名单。

Twitter 针对绕过速率限制的建议是切换到Streaming API。