pyarrow read_csv - 如何用空值填充尾随可选列

Question

我找不到使用 pyarrow.csv.read_csv 的选项或解决方法，并且还有许多其他原因导致使用 pandas 对我们不起作用。

我们有 csv 文件，其最后一列实际上是可选的，并且源数据并不总是包含它们的空单元格，例如：

name,date,serial_number,prior_name,comments
A,2021-01-01,1234
B,2021-01-02,1235,A,Name changed for new version
C,2021-01-02,1236,B

此操作失败，并出现类似 pyarrow.lib.ArrowInvalid: CSV parse error: Expected 5 的错误：CSV parse error: Expected 5 columns, got 3:

我必须假设 pyarrow 可以处理这个问题，但我不知道如何处理。即使无效的行处理程序似乎也不让我返回“适当的”值，而只是“跳过”这些行。如果我可以保存它们并稍后追加，那就更好了，但由于箭头表是不可变的，似乎应该有一种更直接的方法来处理这些情况。

Answer 1

正如 Pace 所指出的，不幸的是，目前 pyarrow 中尚不支持此功能。实际上，我们在从 zip 中提取后即时处理“csv”文件，因此创建中间文件不是一个选项。

对于其他需要快速方法来处理此问题的人，我可以通过创建一个类来包装流并覆盖 read(size, *args, **kwargs) 来解决这个问题（以及其他几个问题） ) 快速执行剥离。即使使用中间人类，它也比尝试加载 pandas 更快（并且有
我们在这里不使用 pandas 的其他几个原因）。

这是一个模板示例：

class StreamWrapper():
    
    def __init__(self, obj=None):
        self.delegation = obj
        self.header = None

    def __getattr__(self, *args, **kwargs):
        # any other call is delegated to the stream/object
        return(self.delegation.__getattribute__(*args, **kwargs))

    def read(self, size=None, *args, **kwargs):
        bytedata = self.delegation.read(size, *args, **kwargs)          
        # .. the rest of the logic pre-processes the byte data, 
        # identifies the header and number of columns (which are retained persistently),
        # and then strips out extra columns when encountered
        return(bytedata)

这允许我们的调用是：

    df = pyarrow.csv.read_csv(
        StreamWrapper(zipfile_stream),
        parse_options = ...
    )