将 cookielib cookie 存储在数据库中

Question

在 Python 2.6 中使用 urllib2 模块时，我使用 cookielib 模块来处理 HTTP cookie，其方式类似于此代码片段：

import cookielib, urllib2
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
r = opener.open("http://example.com/")

我想将 cookie 存储在一个数据库。我不知道什么更好 - 序列化 CookieJar 对象并存储它，或者从 CookieJar 中提取 cookie 并存储它。我不知道哪个更好，也不知道如何实施它们。我还应该能够重新创建 CookieJar 对象。

有人可以帮我解决上述问题吗？

提前致谢。

Answer 1

cookielib.Cookie，引用其文档字符串（在其

故意是一个非常简单的类。
它只包含属性。

因此，pickle（或其他序列化方法）非常适合保存和恢复每个 Cookie 实例。

对于CookieJar，set_cookie设置/添加一个cookie实例，__iter__（要使用后者，只需执行for 在 jar 实例上循环）返回它所持有的所有 cookie 实例，一个接一个。

您可以使用一个子类来查看如何在数据库上制作“cookie jar”，该子类是 BSDDBCookieJar（mechanize 的一部分，但我只是专门指出了 jar 源代码文件）——它不会将所有 cookie 加载到内存中，而是将它们保存在一个self._db 是一个 bsddb 实例（主要在磁盘上，类似于字典的哈希表，仅限于只有字符串作为键和值），并使用 pickle 进行序列化。

如果您同意在操作期间将每个cookie保留在内存中，那么简单地picklejar是最简单的（当然，将blob放入数据库中并将其取回）当你重新启动时） - s = cPickle.dumps(myJar, -1) 为你提供整个 jar 的大字节字符串（当然还有其中的策略，不仅仅是 cookies )，并且一旦您从数据库将 s 重新加载为 blob，theJar = cPickle.loads(s) 就会重建它。

Answer 2

这是我实现的一个非常简单的类，它可以根据 Alex 使用 pickle 的建议，从字符串加载 cookie 或将 cookie 转储到字符串。

from cookielib import CookieJar
try:
    import cPickle as pickle
except ImportError:
    import pickle

class StringCookieJar(CookieJar):
    def __init__(self, string=None, policy=None):
        CookieJar.__init__(self, policy)
        if string:
            self._cookies = pickle.loads(string)

    def dump(self):
        return pickle.dumps(self._cookies)