处理 pycurl 挂在 Twitter 流 api 上

Question

我正在使用 pycurl 连接到 Twitter 流 API。

这很有效，但有时运行几个小时后它会无限期地停止挂起，不会抛出任何异常。如何检测/处理此脚本中的挂起？

import pycurl, json

STREAM_URL = "http://stream.twitter.com/1/statuses/filter.json"

USER = "presidentskroob"
PASS = "12345"

def on_receive(data):
  print data

conn = pycurl.Curl()
conn.setopt(pycurl.USERPWD, "%s:%s" % (USER, PASS))
conn.setopt(pycurl.URL, STREAM_URL)
conn.setopt(pycurl.WRITEFUNCTION, on_receive)
conn.perform()

Answer 1

来自： http://man-wiki.net/index.php/3:curl_easy_setopt

CURLOPT_LOW_SPEED_LIMIT - 传递一个 long 作为参数。它包含
传输速度（以字节/秒为单位）应低于
在 CURLOPT_LOW_SPEED_TIME 秒内让图书馆考虑它
太慢并且中止。

和

CURLOPT_LOW_SPEED_TIME - 传递一个 long 作为参数。它包含
传输时间应低于
CURLOPT_LOW_SPEED_LIMIT 让库认为它太慢并且
中止。

---

例子：

conn.setopt(pycurl.LOW_SPEED_LIMIT, 1)
conn.setopt(pycurl.LOW_SPEED_TIME, 90)

Answer 2

如果传输速度在给定时间长度内低于给定阈值，curl 开关 --speed-limit 允许您让curl 返回错误。不幸的是，速度阈值不能设置为小于 1 的值，并且 Twitter Streaming API 的理想值是 1/30，因为它每 30 秒发送一个字符以保持活动状态。您能做的最好的事情是使用 1 Bps 的阈值，但是每当不活动时间（无推文）长于您选择的持续时间时，curl 就会放弃。如果下面的命令在 30 秒内接收到的字节数少于 30 个字节，则该命令将放弃。

curl -d @filter.txt https://stream.twitter.com/1/statuses/filter.json -uTwitterLogin:TwitterPassword --speed-time 30 --speed-limit 1

总结一下：仅使用curl中的选项没有令人满意的解决方案。

Answer 3

您可以使用超时设置：

 conn.setopt(pycurl.CONNECTTIMEOUT, 15) 
 conn.setopt(pycurl.TIMEOUT, 25) 

如果 curl 超时，您将收到 pycurl.error 异常。

Answer 4

我有预感这可能与“tcp 管道损坏”场景有关。即另一个对等点在某个时刻关闭了连接，但我们的对等点以某种方式忽略了该事件。您将需要使用某种保活来处理这个问题。

问题的“正确”、优雅的解决方案可能需要 Twitter 本身采取一些行动。这是一个相当普遍的问题；我的朋友使用了streaming api并遇到了同样的问题。