使用 Python 编码东亚语言

Question

这可能不是一个真正与 Python 相关的问题，而是与一般语言编码有关。我正在从 Twitter 中挖掘推文，似乎有一个大型的日本用户社区（包含日语消息）。当我尝试将推文编码为 XML 文件时，我使用了 utf-8。例如tweet=tweet.encode('utf-8') 并且没有一条日语推文按其应有的方式出现。我提出的问题是，我应该如何对它们进行编码？我的错误是什么？如果我要将数据存储在 CSV 中，在这种情况下我会使用什么编码方案？

Answer 1

通常，您会查询数据的编码格式。话虽如此，Shift-JIS 是日语文本的一种非常流行的编码。

>>> u'あいうえお'.encode('shift-jis')
'\x82\xa0\x82\xa2\x82\xa4\x82\xa6\x82\xa8'

Answer 2

从 Twitter 读取推文时，应该有一种方法可以查询推文的编码。然后，在将它们读入程序时将它们解码为 Unicode，然后在将它们写回 XML 文件时编码。例如，中文可能使用 gbk 编码：

import codecs
unicode_data = data.decode('gbk')
f = codecs.open('out.xml','w','utf-8')
f.write(unicode_data)
f.close()