在python中如何处理域名中的其他编码

Question

我正在尝试从文件加载的电子邮件的 Message-ID 字段中解析域名，并将其与 from 字段的域进行比较，以查看其匹配程度。然后我使用 nltk.edit_distance() 比较距离。

我正在使用

re.search('@[\[\]\w+\.]+',mail['Message-ID']).group()[1:]

但有一封垃圾邮件消息具有以下内容

mail2['Message-ID']
'<2011315123.04C6DACE618A7C2763810@\x82\xb1\x82\xea\x82\xa9\x82\xe7\x8c\xa9\x82\xa6\x82\xe9\x82\xbe\x82\xeb\x82\xa4>'

因此，当我尝试匹配它在 group() 中不返回匹配项时

，我可以在 Shift_JIS 中对其进行解码，但不知道如何处理它 <2011315123.04C6DACE618A7C2763810@これから见えるだろう>

我不想尝试检查每种可能的字符编码。

我应该用它做什么有什么想法吗？

Answer 1

您可以尝试 chardet 项目，它使用算法来猜测字符编码：

import chardet

text = '<2011315123.04C6DACE618A7C2763810@\x82\xb1\x82\xea\x82\xa9\x82\xe7' + \
    '\x8c\xa9\x82\xa6\x82\xe9\x82\xbe\x82\xeb\x82\xa4>'
cset = chardet.detect(text)
print cset
encoding = cset['encoding']
print encoding, text.decode(encoding)

输出：

{'confidence': 1, 'encoding': 'SHIFT_JIS'}
SHIFT_JIS <2011315123.04C6DACE618A7C2763810@これから見えるだろう>