使用“通用换行符”上传并解析 csv 文件在 Google App Engine 上的 python 中

Question

我正在从 GAE 中的表单上传 csv/tsv 文件，并尝试使用 python csv 模块解析该文件。

正如此处所述，GAE 中上传的文件是字符串.
因此，我将上传的字符串视为类似文件的对象：

file = self.request.get('catalog')
catalog = csv.reader(StringIO.StringIO(file),dialect=csv.excel_tab)

但文件中的新行不一定是“\n”（感谢 Excel..），并且它生成了一个错误：
错误：在未引用的字段中看到换行符 - 您需要以通用换行模式打开文件吗？

有谁知道如何使用 StringIO.StringIO 来处理像在通用换行中打开的文件一样的字符串？

Answer 1

怎么样：

file = self.request.get('catalog')
file  = '\n'.join(file.splitlines())
catalog = csv.reader(StringIO.StringIO(file),dialect=csv.excel_tab)

或者正如评论中指出的，csv.reader()支持从列表中输入，所以：

file = self.request.get('catalog')
catalog = csv.reader(file.splitlines(),dialect=csv.excel_tab)

或者如果将来request.get支持读取模式：

file = self.request.get('catalog', 'rU')
catalog = csv.reader(StringIO.StringIO(file),dialect=csv.excel_tab)

Answer 2

此处描述的解决方案应该可行。通过如下定义一个迭代器类，一次加载 1MB 的 blob，使用 .splitlines() 分割行，然后一次将一行提供给 CSV 读取器，无需加载整个文件即可处理换行符进入记忆。

class BlobIterator:
    """Because the python csv module doesn't like strange newline chars and
    the google blob reader cannot be told to open in universal mode, then
    we need to read blocks of the blob and 'fix' the newlines as we go"""

    def __init__(self, blob_reader):
        self.blob_reader = blob_reader
        self.last_line = ""
        self.line_num = 0
        self.lines = []
        self.buffer = None

    def __iter__(self):
        return self

    def next(self):
        if not self.buffer or len(self.lines) == self.line_num + 1:
            self.buffer = self.blob_reader.read(1048576)  # 1MB buffer
            self.lines = self.buffer.splitlines()
            self.line_num = 0

            # Handle special case where our block just happens to end on a new line
            if self.buffer[-1:] == "\n" or self.buffer[-1:] == "\r":
                self.lines.append("")

        if not self.buffer:
            raise StopIteration

        if self.line_num == 0 and len(self.last_line) > 0:
            result = self.last_line + self.lines[self.line_num] + "\n"
        else:
            result = self.lines[self.line_num] + "\n"

        self.last_line = self.lines[self.line_num + 1]
        self.line_num += 1

        return result

然后这样称呼它：

blob_reader = blobstore.BlobReader(blob_key)
blob_iterator = BlobIterator(blob_reader)
reader = csv.reader(blob_iterator)