在 Python 2.6.5 中，是否有可用于 urllib.quote 和 urllib.unquote 的 unicode 替代品？

Question

Python 的 urllib.quote 和 urllib.unquote 在 Python 2.6.5 中无法正确处理 Unicode。这就是发生的情况：

In [5]: print urllib.unquote(urllib.quote(u'Cataño'))
---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)

/home/kkinder/<ipython console> in <module>()

/usr/lib/python2.6/urllib.pyc in quote(s, safe)
   1222             safe_map[c] = (c in safe) and c or ('%%%02X' % i)
   1223         _safemaps[cachekey] = safe_map
-> 1224     res = map(safe_map.__getitem__, s)
   1225     return ''.join(res)
   1226 

KeyError: u'\xc3'

将值编码为 UTF8 也不起作用：

In [6]: print urllib.unquote(urllib.quote(u'Cataño'.encode('utf8')))
Cataño

它被识别为错误，并且 是一个修复，但不适用于我的 Python 版本。

我想要的是类似于 urllib.quote/urllib.unquote 的东西，但正确处理 unicode 变量，以便此代码可以工作：

decode_url(encode_url(u'Cataño')) == u'Cataño'

有什么建议吗？

Answer 1

Python 的 urllib.quote 和 urllib.unquote 无法正确处理 Unicode

urllib 根本不处理 Unicode。根据定义，URL 不包含非 ASCII 字符。当您处理 urllib 时，您应该仅使用字节字符串。如果您希望它们代表 Unicode 字符，则必须手动对它们进行编码和解码。

IRIs 可以包含非 ASCII 字符，将它们编码为 UTF-8 序列，但 Python 不支持，此时，已经有了一个irilib。

将值编码为 UTF8 也不起作用：

In [6]: print urllib.unquote(urllib.quote(u'Cataño'.encode('utf8')))
Cataño

啊，现在您正在控制台中输入 Unicode，并对控制台执行 print-Unicode 操作。这通常是不可靠的，特别是在 Windows 中以及您使用 IPython 控制台的情况。

使用反斜杠序列长时间键入它，您可以更轻松地看到 urllib 位确实起作用：

>>> u'Cata\u00F1o'.encode('utf-8')
'Cata\xC3\xB1o'
>>> urllib.quote(_)
'Cata%C3%B1o'

>>> urllib.unquote(_)
'Cata\xC3\xB1o'
>>> _.decode('utf-8')
u'Cata\xF1o'

Answer 2

"""将值编码为 UTF8 也不起作用""" ...代码的结果是一个 str 对象，猜测它似乎是以 UTF-8 编码的输入。您需要对其进行解码或定义“不起作用”——您期望什么？

注意：这样我们就不需要猜测您终端的编码和数据类型，请使用 print repr(whatever) 而不是 printwhatever。

>>> # Python 2.6.6
... from urllib import quote, unquote
>>> s = u"Cata\xf1o"
>>> q = quote(s.encode('utf8'))
>>> u = unquote(q).decode('utf8')
>>> for x in (s, q, u):
...     print repr(x)
...
u'Cata\xf1o'
'Cata%C3%B1o'
u'Cata\xf1o'
>>>

用于比较：

>>> # Python 3.2
... from urllib.parse import quote, unquote
>>> s = "Cata\xf1o"
>>> q = quote(s)
>>> u = unquote(q)
>>> for x in (s, q, u):
...     print(ascii(x))
...
'Cata\xf1o'
'Cata%C3%B1o'
'Cata\xf1o'
>>>

Answer 3

我遇到了同样的问题，并使用辅助函数来处理非 ascii 和 urllib.urlencode 函数（包括引用和取消引用）：

def utf8_urlencode(params):
    import urllib as u
    # problem: u.urlencode(params.items()) is not unicode-safe. Must encode all params strings as utf8 first.
    # UTF-8 encodes all the keys and values in params dictionary
    for k,v in params.items():
        # TRY urllib.unquote_plus(artist.encode('utf-8')).decode('utf-8')
        if type(v) in (int, long, float):
            params[k] = v
        else:
            try:
                params[k.encode('utf-8')] = v.encode('utf-8')
            except Exception as e:
                logging.warning( '**ERROR utf8_urlencode ERROR** %s' % e )
    return u.urlencode(params.items()).decode('utf-8')

采用 使用 Python 进行 Unicode URL 编码/解码

Answer 4

所以我遇到了同样的问题：我想将查询参数放入网址中，但其中一些包含奇怪的字符（变音符号）。

处理编码会产生混乱的 url 并且很脆弱。

我的解决方案是将每个重音/奇怪的 unicode 字符替换为其对应的 ascii 字符。由于 unidecode，这很简单：删除 Python unicode 字符串中的重音符号的最佳方法是什么？

pip install unidecode

那么

from unidecode import unidecode
print unidecode(u"éèê") 
# prints eee

我就有了一个干净的 url。也适用于中文等。