pandas csv追加写入的问题

Question

1,今天遇到一个比较棘手的问题，磁盘分区是ntfs格式的不存在4G上限问题，可是用pandas的to_csv的时候就遇到了问题,文件大小总是在4G刚刚出头。
2，具体的错误信息
IOError: [Errno 22] invalid mode ('a+') or filename: 'C:\Users......'

非常纳闷，找了很长时间的答案也没找到，想问下pandas的csv文件追加写入是不是有4g上限这个标准，或者是我的win7系统问题？

Answer 1

可能是内存超出了。to_csv可以设置chunksize每次写入多少行数据，如：

df.to_csv(filename, chunksize=10000)

做一个循环，每次写10000行，应该不会有问题。

Answer 2

昨天晚上把样本在32G内存的主机上跑了一下，2个4g的文件一次读入，然后pd.concat可以写出哦，看来应该不存在4g上限问题。

Answer 3

根据错误信息
IOError: [Errno 22] invalid mode ('a+') or filename: 'C:Users......'
你这个路径不对啊C:Users