Python：如何比较 unicode 和 ascii 文本？

Question

我正在尝试将一个列表中的字符转换为日语中同一索引处的另一个列表中的字符（对于感兴趣的人，将 zenkaku 转换为 Hangaku moji），但我无法进行比较。我在比较之前解码为 utf-8（解码为 ascii 破坏了程序），但比较不会返回 true。有谁知道我做错了什么？这是代码（由于 SO 的编辑器，缩进有点古怪）：

#!C:\Python27\python.exe
# coding=utf-8
import os
import shutil
import sys

zk = [
'。',
'、',
'「',
'」',
'（',
'）',
'！',
'？',
'・',
'／',
'ア','イ','ウ','エ','オ',
'カ','キ','ク','ケ','コ',
'サ','シ','ス','セ','ソ',
'ザ','ジ','ズ','ゼ','ゾ',
'タ','チ','ツ','テ','ト',
'ダ','ヂ','ヅ','デ','ド',
'ラ','リ','ル','レ','ロ',
'マ','ミ','ム','メ','モ',
'ナ','ニ','ヌ','ネ','ノ',
'ハ','ヒ','フ','ヘ','ホ',
'バ','ビ','ブ','ベ','ボ',
'パ','ピ','プ','ペ','ポ',
'ヤ','ユ','ヨ','ヲ','ン','ッ'
]

hk = [
'｡',
'､',
'｢',
'｣',
'(',
')',
'!',
'?',
'･',
'/',
'ｱ','ｲ','ｳ','ｴ','ｵ',
'ｶ','ｷ','ｸ','ｹ','ｺ',
'ｻ','ｼ','ｽ','ｾ','ｿ',
'ｻﾞ','ｼﾞ','ｽﾞ','ｾﾞ','ｿﾞ',
'ﾀ','ﾁ','ﾂ','ﾃ','ﾄ',
'ﾀﾞ','ﾁﾞ','ﾂﾞ','ﾃﾞ','ﾄﾞ',
'ﾗ','ﾘ','ﾙ','ﾚ','ﾛ',
'ﾏ','ﾐ','ﾑ','ﾒ','ﾓ',
'ﾅ','ﾆ','ﾇ','ﾈ','ﾉ',
'ﾊ','ﾋ','ﾌ','ﾍ','ﾎ',
'ﾊﾞ','ﾋﾞ','ﾌﾞ','ﾍﾞ','ﾎﾞ',
'ﾊﾟ','ﾋﾟ','ﾌﾟ','ﾍﾟ','ﾎﾟ',
'ﾔ','ﾕ','ﾖ','ｦ','ﾝ','ｯ'
]

def main():
if len(sys.argv) > 1:
    filename = sys.argv[1]
else:
    print("Please specify a file to check.")
    return

try:
    f = open(filename, 'r')
except IOError as e:
    print("Sorry! The file doesn't exist.")
    return

filecontent = f.read()
f.close()

#y = zk[29]
#print y.decode('utf-8')

for f in filecontent:
    for z in zk:
        if f == z.decode('utf-8'):
        print f

print filename



if __name__ == "__main__":
main()

我错过了一个步骤吗？

Answer 1

一些。

zk = [
u'。',
u'、',
u'「',
 ...

 ...
    f = codecs.open(filename, 'r', encoding='utf-8')
 ...

既然艰苦的工作已经完成，我会让你解决剩下的事情。

Answer 2

确保 zk 和 hk 列表包含 Unicode 字符串。使用 Unicode 文字，例如 u'a' 或在运行时解码它们：

fromutf8 = lambda s: s.decode('utf-8') if not isinstance(s, unicode) else s
zk = map(fromutf8, zk)
hk = map(fromutf8, hk)

您可以使用 unicode.translate() 将一个列表中的字符转换为另一个列表中的字符相同的索引：

import codecs

translation_table = dict(zip(map(ord,zk), hk))
with codecs.open(sys.argv[1], encoding='utf-8') as f:
     for line in f:
         print line.translate(translation_table),

Answer 3

你需要将所有内容转换为相同的形式，而形式就是 Unicode 字符串。 Unicode 字符串没有 .encode() 或 .decode() 意义上的编码。当有一个非 unicode 字符串时，它实际上是一个字节流，以某种编码方式表达该值。转换为 Unicode 时，必须.decode()。将 Unicode 字符串存储为字节序列时，必须将抽象 .encode() 转换为具体字节。

这样，当从 UTF-8 编码文件加载 Unicode 字符串时，或者您必须将其读入旧字符串（非 Unicode，字节序列），然后 .decode('utf-8')，或者你可以使用`codecs.open(...,encoding='utf-8')——然后你会自动获得Unicode字符串。

#coding=utf-8 的形式并不常见，但是如果编辑器（我的意思是你用来编写文本的工具）也这么认为的话，那就没问题了。然后编辑器会正确显示旧字符串。在这种情况下，应该对它们进行 .decode('utf-8') 以获得 Unicode。同一源中仅包含 ASCII 字符的旧字符串也可以使用 .decode('utf-8') 转换为 Unicode。

总结一下：您正在从字节de编码为Unicode，并且您正在en将Unicode字符串编码为字节序列。从这个问题来看，你似乎在做相反的事情。

以下是完全错误的：

for f in filecontent:
    for z in zk:
        if f == z.decode('utf-8'):
            print f

因为 filecontent 是 f.read() 的结果。这样它就是一个字节序列。循环中的f是一个字节。 z.decode('utf-8') 返回一个 Unicode 字符。他们无法相提并论。 （顺便说一下，f 是一种字节值的误导性名称。）