如何向 urllib2 opener 添加标头？

Question

cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))    
opener.open('http://abc.com')
opener.open('http://google.com')

如您所见，我使用 opener 来访问不同的网站，并使用 cookie jar。我可以设置一个标头，以便每次访问网站时都应用该标头吗？

Answer 1

您可以将标头直接添加到 build_opener 返回的 OpenerDirector 对象中。从 urllib2 文档 中的最后一个示例：

OpenerDirector 会自动向每个请求添加 User-Agent 标头。要更改此设置：

import urllib2
opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
opener.open('http://www.example.com/')

此外，请记住，当请求传递给 urlopen() （或 OpenerDirector.open()）时，会添加一些标准标头（Content-Length、Content-Type 和 Host）。

Answer 2

headers = {'foo': 'bar',}
req = urllib2.Request(url, None, headers)
resp = urllib2.urlopen(req)

或者

req = urllib2.Request(url)
req.add_header('foo', 'bar')
resp = urllib2.urlopen(req)