带有 UTF-8 数据的 Python CSV DictReader

Question

AFAIK，Python (v2.6) csv 模块默认无法处理 unicode 数据，对吗？在 Python 文档中，有一个关于如何读取 UTF-8 编码文件的示例。但此示例仅将 CSV 行作为列表返回。 我想按名称访问行列，因为它是由 csv.DictReader 完成的，但使用 UTF-8 编码的 CSV 输入文件。

谁能告诉我如何有效地做到这一点？我必须处理大小为 100 MB 的 CSV 文件。

Answer 1

我自己想出了一个答案：

def UnicodeDictReader(utf8_data, **kwargs):
    csv_reader = csv.DictReader(utf8_data, **kwargs)
    for row in csv_reader:
        yield {unicode(key, 'utf-8'):unicode(value, 'utf-8') for key, value in row.iteritems()}

_{注意：这已更新，因此密钥将根据评论中的建议进行解码}

Answer 2

对我来说，关键不在于操作 csv DictReader 参数，而是文件打开器本身。这成功了：

with open(filepath, mode="r", encoding="utf-8-sig") as csv_file:
    csv_reader = csv.DictReader(csv_file)

不需要特殊的课程。现在我可以打开带或不带 BOM 的文件而不会崩溃。

Answer 3

@LMatter 答案的基于类的方法，通过这种方法，您仍然可以获得 DictReader 的所有好处，例如获取字段名和获取行号，再加上它处理 UTF-8

import csv

class UnicodeDictReader(csv.DictReader, object):

    def next(self):
        row = super(UnicodeDictReader, self).next()
        return {unicode(key, 'utf-8'): unicode(value, 'utf-8') for key, value in row.iteritems()}

Answer 4

首先，使用2.6版本的文档。每个版本都可能会发生变化。它明确表示它不支持 Unicode，但支持 UTF-8。 从技术上讲，这些不是一回事。正如文档所说：

csv模块不直接支持读写Unicode，但是它是8位干净保存的，可以解决ASCII NUL字符的一些问题。因此，只要避免像 UTF-16 这样使用 NUL 的编码，您就可以编写函数或类来处理编码和解码。建议使用 UTF-8。

下面的示例（来自文档）展示了如何创建两个函数，将 UTF-8 文本正确读取为 CSV。您应该知道 csv.reader() 始终返回 DictReader 对象。

import csv

def unicode_csv_reader(unicode_csv_data, dialect=csv.excel, **kwargs):
    # csv.py doesn't do Unicode; encode temporarily as UTF-8:
    csv_reader = csv.DictReader(utf_8_encoder(unicode_csv_data),
                            dialect=dialect, **kwargs)
    for row in csv_reader:
        # decode UTF-8 back to Unicode, cell by cell:
        yield [unicode(cell, 'utf-8') for cell in row]

Answer 5

使用 unicodecsv 包可以轻松实现这一点。

# pip install unicodecsv
import unicodecsv as csv

with open('your_file.csv') as csvfile:
    reader = csv.DictReader(csvfile)
    for row in reader:
        print(row)

Answer 6

csvw 包还有其他功能（用于元数据丰富的 CSV对于 Web），但它定义了一个 UnicodeDictReader 类来包裹它的 UnicodeReader 类，它的核心正是这样做的：

class UnicodeReader(Iterator):
    """Read Unicode data from a csv file."""
    […]

    def _next_row(self):
        self.lineno += 1
        return [
            s if isinstance(s, text_type) else s.decode(self._reader_encoding)
            for s in next(self.reader)]

它确实让我失望了几次，但是 < code>csvw.UnicodeDictReader 真的，真的需要在 with 块中使用，否则会中断。除此之外，该模块非常通用并且与 py2 和 py3 兼容。

Answer 7

答案没有 DictWriter 方法，所以这里是更新的类：

class DictUnicodeWriter(object):

    def __init__(self, f, fieldnames, dialect=csv.excel, encoding="utf-8", **kwds):
        self.fieldnames = fieldnames    # list of keys for the dict
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.DictWriter(self.queue, fieldnames, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, row):
        self.writer.writerow({k: v.encode("utf-8") for k, v in row.items()})
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for row in rows:
            self.writerow(row)

    def writeheader(self):
        header = dict(zip(self.fieldnames, self.fieldnames))
        self.writerow(header)