Python urlparse：小问题

Question

我正在制作一个解析 html 并从中获取图像的应用程序。使用 Beautiful Soup 解析很容易，下载 html 和图像也可以使用 urllib2。

我确实在使用 urlparse 来从相对路径中创建绝对路径时遇到问题。这个问题最好用一个例子来解释：

>>> import urlparse
>>> urlparse.urljoin("http://www.example.com/", "../test.png")
'http://www.example.com/../test.png'

正如你所看到的，urlparse 不会去掉 ../ 。当我尝试下载图像时，这会出现问题：

HTTPError: HTTP Error 400: Bad Request

Is there a way to fix this Problem in urllib?

Answer 1

“..”会打开一个目录（“.”是当前目录），因此将其与域名 url 结合起来没有多大意义。也许你需要的是：

>>> urlparse.urljoin("http://www.example.com","./test.png")
'http://www.example.com/test.png'

Answer 2

我认为你能做的最好的事情就是预先解析原始 URL，并检查路径组件。一个简单的测试是

if len(urlparse.urlparse(baseurl).path) > 1:

然后您可以将其与 demas 建议的索引结合起来。例如：

start_offset = (len(urlparse.urlparse(baseurl).path) <= 1) and 2 or 0
img_url = urlparse.urljoin("http://www.example.com/", "../test.png"[start_offset:])

这样，您就不会尝试转到根 URL 的父级。

Answer 3

如果您希望 /../test 与文件系统中的路径 /test 含义相同，那么您可以使用 normpath()：

>>> url = urlparse.urljoin("http://example.com/", "../test")
>>> p = urlparse.urlparse(url)
>>> path = posixpath.normpath(p.path)
>>> urlparse.urlunparse((p.scheme, p.netloc, path, p.params, p.query,p.fragment))
'http://example.com/test'

Answer 4

urlparse.urljoin("http://www.example.com/", "../test.png"[2:])

这是你所需要的吗？