使用 Python 进行网页抓取

Question

我正在尝试使用 urllib2 和 BeautifulSoup 抓取网站 http://www.nseindia.com 。不幸的是，当我尝试通过 Python 访问该页面时，我不断收到 403 Forbidden 错误。我认为这是一个用户代理问题，但更改它并没有帮助。然后我认为这可能与 cookie 有关，但显然通过关闭 cookie 的链接加载页面效果很好。什么可能会阻止通过 urllib 的请求？

Answer 1

http://www.nseindia.com/ 似乎需要一个 Accept 标头，无论出于何种原因。这应该有效：

import urllib2
r = urllib2.Request('http://www.nseindia.com/')
r.add_header('Accept', '*/*')
r.add_header('User-Agent', 'My scraping program <[email protected]>')
opener = urllib2.build_opener()
content = opener.open(r).read()

拒绝没有 Accept 标头的请求是不正确的； RFC 2616 明确指出

如果不存在 Accept 头字段，则假定
客户端接受所有媒体类型。