如何使用 urlopen 获取非 ASCII url？

Question

我需要从包含非 ascii 字符的 URL 获取数据，但 urllib2.urlopen 拒绝打开资源并引发：

UnicodeEncodeError: 'ascii' codec can't encode character u'\u0131' in position 26: ordinal not in range(128)

我知道该 URL 不符合标准，但我没有机会更改它。

使用Python访问包含非ascii字符的URL指向的资源的方法是什么？

编辑： 换句话说，urlopen 可以/如何打开一个 URL，例如：

http://example.org/Ñöñ-ÅŞÇİİ/

Answer 1

严格来说，URI 不能包含非 ASCII 字符；您拥有的是IRI。

要将 IRI 转换为纯 ASCII URI：

• 地址主机名部分中的非 ASCII 字符必须使用 进行编码基于 Punycode 的 IDNA 算法；

• 根据 Ignacio 的回答，路径中的非 ASCII 字符以及地址的大多数其他部分必须使用 UTF-8 和 %-encoding 进行编码。

所以：（

import re, urlparse

def urlEncodeNonAscii(b):
    return re.sub('[\x80-\xFF]', lambda c: '%%%02x' % ord(c.group(0)), b)

def iriToUri(iri):
    parts= urlparse.urlparse(iri)
    return urlparse.urlunparse(
        part.encode('idna') if parti==1 else urlEncodeNonAscii(part.encode('utf-8'))
        for parti, part in enumerate(parts)
    )

>>> iriToUri(u'http://www.a\u0131b.com/a\u0131b')
'http://www.xn--ab-hpa.com/a%c4%b1b'

从技术上讲，在一般情况下这仍然不够好，因为 urlparse 不会分割任何 user:pass@ 前缀或 :port<主机名上的 /code> 后缀。只有主机名部分应该进行 IDNA 编码，使用普通的 urllib.quote 和 .encode('idna') 进行编码会更容易。构建 URL 的时间比必须将 IRI 分开的时间要多。）

Answer 2

在 python3 中，对非 ascii 字符串使用 urllib.parse.quote 函数：

>>> from urllib.request import urlopen                                                                                                                                                            
>>> from urllib.parse import quote                                                                                                                                                                
>>> chinese_wikipedia = 'http://zh.wikipedia.org/wiki/Wikipedia:' + quote('首页')
>>> urlopen(chinese_wikipedia)

Answer 3

Python 3 有库来处理这种情况。使用
urllib.parse.urlsplit 将 URL 拆分为其组件，以及
urllib.parse.quote 正确引用/转义 unicode 字符
和 urllib.parse.urlunsplit 来将其重新组合在一起。

>>> import urllib.parse
>>> url = 'http://example.com/unicodè'
>>> url = urllib.parse.urlsplit(url)
>>> url = list(url)
>>> url[2] = urllib.parse.quote(url[2])
>>> url = urllib.parse.urlunsplit(url)
>>> print(url)
http://example.com/unicod%C3%A8

Answer 4

基于@darkfeline 的回答：

from urllib.parse import urlsplit, urlunsplit, quote

def iri2uri(iri):
    """
    Convert an IRI to a URI (Python 3).
    """
    uri = ''
    if isinstance(iri, str):
        (scheme, netloc, path, query, fragment) = urlsplit(iri)
        scheme = quote(scheme)
        netloc = netloc.encode('idna').decode('utf-8')
        path = quote(path)
        query = quote(query)
        fragment = quote(fragment)
        uri = urlunsplit((scheme, netloc, path, query, fragment))

    return uri

Answer 5

它比公认的 @bobince 的答案所暗示的更复杂：

• netloc 应该使用 IDNA 进行编码；
• 非 ascii URL 路径应编码为 UTF-8，然后进行百分比转义；
• 非 ascii 查询参数应编码为从中提取的页面 URL 的编码（或编码服务器使用的编码），然后进行百分比转义。

这就是所有浏览器的工作方式；它在 https://url.spec.whatwg.org/ 中指定 - 请参阅此 示例。 Python 实现可以在 w3lib 中找到（这是 Scrapy 正在使用的库）；请参阅 w3lib.url.safe_url_string：

from w3lib.url import safe_url_string
url = safe_url_string(u'http://example.org/Ñöñ-ÅŞÇİİ/', encoding="<page encoding>")

一种简单的方法检查 URL 转义实现是否不正确/不完整是检查它是否提供“页面编码”参数。

Answer 6

对于那些不严格依赖 urllib 的人来说，一种实用的替代方案是 requests，它处理 IRI ”开箱即用”。

例如，使用 http://bücher.ch：

>>> import requests
>>> r = requests.get(u'http://b\u00DCcher.ch')
>>> r.status_code
200

Answer 7

将 unicode 编码为 UTF-8，然后进行 URL 编码。

Answer 8

使用httplib2的iri2uri方法。它与 bobin 制作的东西相同（他/她是那个作者吗？）

Answer 9

将 IRI 转换为 ASCII URI 的另一种选择是使用 furl 包：

gruns/furl：

Answer 10

作品！终于

我无法回避这些奇怪的人物，但最终我还是挺过来了。

import urllib.request
import os


url = "http://www.fourtourismblog.it/le-nuove-tendenze-del-marketing-tenere-docchio/"
with urllib.request.urlopen(url) as file:
    html = file.read()
with open("marketingturismo.html", "w", encoding='utf-8') as file:
    file.write(str(html.decode('utf-8')))
os.system("marketingturismo.html")