Python获取数据403

Question

我正在尝试使用 urllib2 从网页获取数据。该页面在浏览器上可见，但通过脚本我不断收到 HTTPError: HTTP Error 403: Forbidden

我也尝试通过更改用户代理字符串来模仿浏览器请求，但没有成功。

对此有什么想法吗？

Answer 1

我尝试使用篡改数据和 Firefox 只发送用户代理，结果得到 403。
尝试添加其他标题：

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 115
Connection: keep-alive

我尝试过，这应该可行。

Answer 2

该网站正在检查您的 User-Agent，只需将其设置为 Internet Explorer：

request.add_header('User-Agent', 'Internet Explorer')

我确认这适用于 wget，并且您会收到 403，除非您将您的用户代理设置为 Internet Explorer。

Answer 3

:) 我也在尝试从 NSE 获取报价！就像 pythonFoo 说你需要额外的标头。然而，只接受就足够了。
用户代理可以说 python （保持真实！）