如何在Python中存储具有行数限制的数据

Question

对于一个项目，我有发送有效负载的设备，我应该将它们存储在本地文件中，但我有内存限制，并且我不想存储超过 2000 个数据行。再次由于内存限制，我无法拥有数据库，因此我选择将数据存储在 csv 文件中。 我尝试使用 open('output.csv', 'r+') as f:;我将行附加到 csv 的末尾，每次都必须使用 sum(1 for line in f) 检查长度，以确保其不超过 2000。 当我达到 2000 行时，大问题就开始了，我想理想地删除第一行并在末尾添加另一行，或者开始从文件开头写入行并覆盖旧行而不删除所有内容，但我不知道如何去做它。我尝试使用 open('output.csv', 'w+') 或 open('output.csv', 'a+') 但它会删除所有内容使用 w+ 时只写入一行，使用 a+ 时它只是继续追加到末尾。另一方面，我无法再用两者来计算行数。您能帮我一下，我应该使用哪个命令从头开始重写每一行，或者从开头删除一行并在末尾追加一行？如果您能告诉我是否有比 csv 文件更好的选择来存储许多数据，我也将不胜感激，或者我可以使用更好的方法来计算行数。

Answer 1

这应该有帮助。查看内嵌评论

import pandas as pd

allowed_length = 2 # Set it to the required value
df = pd.read_csv('output.csv') #Read your csv file to df

row_count = df.shape[0] #Get row count

df.loc[row_count] = ['Fridge', 15] #Insert row at end of df. In my case it has only 2 values

#if count of dataframe is greater or equal to allowed_length, the delete first row
if row_count >= allowed_length:
    df = df.drop(df.head(1).index)

df.to_csv('output.csv', index=False)