在 Python 中创建 utf-8 csv 文件

Question

我无法在 Python 中创建 utf-8 csv 文件。

我正在尝试阅读它的文档，并在示例部分中，它说：

对于所有其他编码，如下 UnicodeReader 和 UnicodeWriter 可以使用类。他们采取 附加编码参数 构造函数并确保 数据传递给真正的读者或作者 编码为 UTF-8：

好的。所以我有这样的代码：

values = (unicode("Ñ", "utf-8"), unicode("é", "utf-8"))
f = codecs.open('eggs.csv', 'w', encoding="utf-8")
writer = UnicodeWriter(f)
writer.writerow(values)

我不断收到此错误：

line 159, in writerow
    self.stream.write(data)
  File "/usr/lib/python2.6/codecs.py", line 686, in write
    return self.writer.write(data)
  File "/usr/lib/python2.6/codecs.py", line 351, in write
    data, consumed = self.encode(object, self.errors)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 22: ordinal not in range(128)

有人能给我一盏明灯，这样我就可以理解我到底做错了什么，因为我在调用 UnicodeWriter 类之前设置了所有编码？

class UnicodeWriter:
    """
    A CSV writer which will write rows to CSV file "f",
    which is encoded in the given encoding.
    """

    def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, row):
        self.writer.writerow([s.encode("utf-8") for s in row])
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for row in rows:
            self.writerow(row)

Answer 1

您不必使用codecs.open； UnicodeWriter 接受 Unicode 输入并负责将所有内容编码为 UTF-8。当 UnicodeWriter 写入您传递给它的文件句柄时，所有内容都已采用 UTF-8 编码（因此它可以与您使用 open 打开的普通文件一起使用）。

通过使用 codecs.open，您实际上可以在 UnicodeWriter 中将 Unicode 对象转换为 UTF-8 字符串，然后尝试再次将这些字符串重新编码为 UTF-8，就好像这些字符串一样strings 包含 Unicode 字符串，这显然失败了。

Answer 2

正如您所发现的，如果您使用普通打开，它就会起作用。

出现这种情况的原因是您尝试对 UTF-8 进行编码两次。一旦进入

f = codecs.open('eggs.csv', 'w', encoding="utf-8")

，然后在 UnicodeWriter.writeRow

# ... and reencode it into the target encoding
data = self.encoder.encode(data)

要检查这是否有效，请使用您的原始代码并注释掉该行。

格瑞兹

Answer 3

我不久前遇到了 csv / unicode 挑战，并将其扔到了 bitbucket 上： http://bitbucket.org/ knownact​​ress/dude_csv ..如果您的需求很简单，可能适合您:)

Answer 4

您不需要对所有内容进行“双重编码”。

您的应用程序应该完全以 Unicode 运行。

仅在 codecs.open 中进行编码，以将 UTF-8 字节写入外部文件。在您的应用程序中不要进行其他编码。