Twitter 速率限制

Question

我接到了一项简单的任务，其中涉及获取多个 Twitter 帐户的关注者数量。我正在创建的应用程序可能有 1000 个 Twitter 用户名，应该对每个用户的关注者进行计数并对它们进行求和。

看起来这是一项简单的任务，所以我所做的就是使用 Twitter API 调用（来自 C# 客户端）来获取每个用户所需的信息。由于我所追求的信息没什么特别的，只是一些公共数据，所以我使用了未经身份验证的调用。像这样：

string target = "http:twitter.com/users/" + userName + ".xml";
Console.WriteLine("UserName: " + userName);

WebClient client = new WebClient();

Stream stream = client.OpenRead(target); StreamReader reader = new
StreamReader(stream); 
XmlTextReader xml_read = new XmlTextReader(stream);

while (xml_read.Read()) {   
     xml_read.MoveToElement();
     if (xml_read.Name == "name") {         
         Console.WriteLine("Name: " + xml_read.ReadInnerXml().ToString());
     }

    if (xml_read.Name == "followers_count"){
        Console.WriteLine("Followers: " +
                                       xml_read.ReadInnerXml().ToString());         
          Console.WriteLine(); 
      }
}

这非常有效（就速度和满足目的而言），但它存在速率限制问题。也就是说，我每小时不能执行超过 100 个左右的请求。因此，对于 1000 个用户，我需要 10 个小时来完成这个简单的任务！ ..

我尝试走不同的道路.. 由于我需要的信息是公开的，我决定下载每个 Twitter 帐户的 html 页面以获取关注者（和真实姓名）。像这样：

WebRequest myWebRequest = WebRequest.Create("http://twitter.com/" + userName);
WebResponse myWebResponse = myWebRequest.GetResponse();
Stream ReceiveStream = myWebResponse.GetResponseStream();
Encoding encode = System.Text.Encoding.GetEncoding("utf-8");
StreamReader readStream = new StreamReader(ReceiveStream, encode);
string strResponse = readStream.ReadToEnd();

然后使用简单的字符串解析来获取关注者数量和真实姓名。

这个解决方案是有效的..但是下载整个 html 文件（大小超过 300kb）并不是一个明智的方法。另外，完成任务大约需要 2 小时。

我要什么？

我希望/相信有一种更智能、更有效的方式从 Twitter 获取公共信息。

Answer 1

也许您可以使用此解决方案： https://dev.twitter.com/ docs/api/1/get/users/lookup

它使您能够请求最多 100 个用户名（逗号分隔）的数据，如下所示：
https://api.twitter.com/1/users/lookup .json?screen_name=bloodyairtimer,geertvdc

您可以自行决定是否需要 xml 或 json 格式的结果。也许json的大小会比xml小。

Answer 2

我有同样的问题。我通过开发者论坛询问 Twitter 支持，但没有收到有用的回复。每个 API 方法都有一个速率限制，一般来说，如果您经过身份验证，您可以拥有更大的速率限制（公共方法为 150，经过身份验证为 350），但这并不是一个很大的价值。

如果您可以使用多个 IP 地址，则可以有不同的请求计数，但如果您调用具有身份验证的 API 会更好，因为这种情况下的计数不是针对 IP 的，而是针对用户的。

twitter 速率限制策略定义如下：
https://dev.twitter.com/docs/rate-limiting/faq

Answer 3

你也可以使用像 Gnip 这样的服务，

他们已经存储了所有的 twitter！