如何“保活”？ python 中的 cookielib 和 httplib ？

Question

在 python 中，我使用 httplib 因为它“保持”http 连接（与 urllib(2) 相反）。 现在，我想将 cookielib 与 httplib 一起使用，但它们似乎互相讨厌！ （无法将它们连接在一起）。

有谁知道这个问题的解决方案？

Answer 1

支持 keep-alive 的 urllib2 HTTP 处理程序

Answer 2

您应该考虑使用 Requests 库，而不是在您必须重构代码的最早机会。 同时;

黑客警报！ :)

我会采用其他建议的方式，但我已经做了一个 hack（尽管出于不同的原因），它确实在 httplib 和 cookielib。

我所做的是使用最少的所需方法集创建一个假的 HTTPRequest ，以便 CookieJar 会识别它并根据需要处理 cookie。 我使用了那个假请求对象，设置了 cookielib 所需的所有数据。

以下是该类的代码：

class HTTPRequest( object ):
"""
Data container for HTTP request (used for cookie processing).
"""

    def __init__( self, host, url, headers={}, secure=False ):
        self._host = host
        self._url = url
        self._secure = secure
        self._headers = {}
        for key, value in headers.items():
            self.add_header(key, value)

    def has_header( self, name ):
        return name in self._headers

    def add_header( self, key, val ):
        self._headers[key.capitalize()] = val

    def add_unredirected_header(self, key, val):
        self._headers[key.capitalize()] = val

    def is_unverifiable( self ):
        return True

    def get_type( self ):
        return 'https' if self._secure else 'http'

    def get_full_url( self ):
        port_str = ""
        port = str(self._host[1])
        if self._secure:
            if port != 443:
                port_str = ":"+port
        else:
            if port != 80:
                port_str = ":"+port
        return self.get_type() + '://' + self._host[0] + port_str + self._url

    def get_header( self, header_name, default=None ):
        return self._headers.get( header_name, default )

    def get_host( self ):
        return self._host[0]

    get_origin_req_host = get_host

    def get_headers( self ):
        return self._headers

请注意，该类仅支持 HTTPS 协议（我目前需要的全部）。

使用此类的代码是（请注意另一个使响应与 cookielib 兼容的技巧）：

cookies = CookieJar()

headers = {
    # headers that you wish to set
}

# construct fake request
fake_request = HTTPRequest( host, request_url, headers )

# add cookies to fake request
cookies.add_cookie_header(fake_request)

# issue an httplib.HTTPConnection based request using cookies and headers from the fake request
http_connection.request(type, request_url, body, fake_request.get_headers())

response = http_connection.getresponse()

if response.status == httplib.OK:
    # HACK: pretend we're urllib2 response
    response.info = lambda : response.msg

    # read and store cookies from response
    cookies.extract_cookies(response, fake_request)

    # process response...