在Python中伪造一个cookie来抓取网站

Question

我尝试抓取的网站使用 js 创建 cookie。 我的想法是，我可以在 python 中创建一个 cookie，然后使用该 cookie 来抓取网站。 但是，我不知道有什么方法可以做到这一点。 有人有什么想法吗？

Answer 1

有关添加 cookie 的示例，请参阅 Python httplib2 - 处理 HTTP 表单帖子中的 Cookie到一个请求。

我经常需要在网络中自动执行任务
基于应用程序。 我喜欢这样做
在协议级别通过模拟
真实用户通过 HTTP 进行交互。
Python 带有两个内置模块
为此： urllib （更高级别的 Web
接口）和httplib（较低级别
HTTP 接口）。

Answer 2

如果您想做更多涉及的浏览器模拟（包括设置 cookie），请查看 mechanize。 它的模拟功能几乎是完整的（遗憾的是没有 Javascript 支持）：我已经用它构建了几个抓取工具，并取得了很大的成功。