httperror：找不到使用用户代理

Question

我很想打开一个如下的URL：

import urllib.request

url = "https://www.chess.cornell.edu/index.php/users/calculato%20rs/calculator-absolute-flux-measurement-using-xpd100"
# I tried to access to this url.
req = urllib.request.Request(
    url, 
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
)
# using the user agent like many answers suggested.
f = urllib.request.urlopen(req)

但是，我总是会出现错误：

  File "C:\ProgramData\Anaconda3\lib\urllib\request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)

HTTPError: Not Found

非常感谢您的任何帮助！

Answer 1

我使用了请求库，

import request
r = requests.get("https://www.chess.cornell.edu/index.php/users/calculato%20rs/calculator-absolute-flux-measurement-using-xpd100")

即使它返回a，

<Response [404]>

它也可以正常工作，您仍然可以使用r.text来获取网站的HTML

，这可能会发生这种情况，因为网站返回状态404 < /code>（找不到），即使它实际返回有效的页面。 Urllib恐慌并丢弃错误，您的浏览器和请求仍将遵循并向我们展示页面。

很高兴是否有帮助：）

Answer 2

如果您甚至需要获取响应主体，即使有404错误，这是如何使用urllib 完成。 ：

try:
    f = urllib.request.urlopen(req)
except urllib.error.HTTPError as err:
    f = err

当然，这是一个非常简单的片段，假设您想做f.read（）以后处理内容。在强大的程序中，应该有各种检查HTTP响应代码，内容类型等的检查。

---

当然，使用请求（如@deerawijesundara建议）没有错。实际上，在类似情况下，我也会亲自使用请求，但是为了完整的缘故，我决定添加仅stdlib的答案。