Python 创建 cookie，然后使用 cookie 加载页面

Question

我想从 python 程序访问网页。 我必须设置 cookie 才能加载页面。
我使用了 httplib2 库，但没有找到如何添加自己的 cookie

resp_headers, content = h.request("http://www.theURL.com", "GET")

如何创建具有正确名称和值的 cookie，将其添加到函数中然后加载页面？
谢谢

Answer 1

来自http://code.google.com/p/httplib2/wiki/Examples 希望会有所帮助 )

Cookies

当自动化某些操作时，您通常需要“登录”以维护与服务器的某种会话/状态。有时，这是通过基于表单的身份验证和 cookie 来实现的。您将一个表单发布到服务器，它会在传入的 HTTP 标头中使用 cookie 进行响应。您需要在后续请求中将此 cookie 传递回服务器以维护状态或保持会话处于活动状态。

以下是执行 HTTP Post 时如何处理 cookie 的示例。

首先，让我们导入我们将使用的模块：

import urllib
import httplib2

现在，让我们定义我们需要的数据。在本例中，我们正在执行一个表单发布，其中包含两个表示用户名和密码的字段。

url = 'http://www.example.com/login'   
body = {'USERNAME': 'foo', 'PASSWORD': 'bar'}
headers = {'Content-type': 'application/x-www-form-urlencoded'}

现在我们可以发送 HTTP 请求：

http = httplib2.Http()
response, content = http.request(url, 'POST', headers=headers, body=urllib.urlencode(body))

此时，我们的“response”变量包含服务器返回的 HTTP 标头字段的字典。如果返回 cookie，您将看到包含 cookie 值的“set-cookie”字段。我们想要获取这个值并将其放入后续请求的传出 HTTP 标头中：

headers['Cookie'] = response['set-cookie']

现在我们可以使用此标头发送请求，它将包含 cookie，以便服务器可以识别我们。

所以...这是脚本中的全部内容。我们登录到一个站点，然后使用我们收到的 cookie 发出另一个请求：

#!/usr/bin/env python

import urllib
import httplib2

http = httplib2.Http()

url = 'http://www.example.com/login'   
body = {'USERNAME': 'foo', 'PASSWORD': 'bar'}
headers = {'Content-type': 'application/x-www-form-urlencoded'}
response, content = http.request(url, 'POST', headers=headers, body=urllib.urlencode(body))

headers = {'Cookie': response['set-cookie']}

url = 'http://www.example.com/home'   
response, content = http.request(url, 'GET', headers=headers)

Answer 2

http = httplib2.Http()
# get cookie_value here
headers = {'Cookie':cookie_value}
response, content = http.request("http://www.theURL.com", 'GET', headers=headers)

您可能需要添加另一个标头参数来指定另一个 HTTP 请求参数。

Answer 3

您还可以仅使用 urllib2 库

        import urllib2

        opener = urllib2.build_opener()
        opener.addheaders.append(('Cookie', 'cookie1=value1;cookie2=value2'))
        f = opener.open("http://www.example.com/")
        the_page_html = f.read()