如何保存数据库以便数据框可读？

Question

该程序需要一些 .csv 数据库，对它们执行计算操作，然后需要保存结果数据库，以便使用 Dask.Dataframe 读取它。 在 Python 中读回上传的文件时，数据框具有的列类型应保留循环中的内容。我假设您需要使用 csv 文件 + 指定列类型的单独配置文件。

另一个问题，如何读取一个数据帧中的大文件？

主要功能如下所示：

def LoadDataFromDB(con,table):         --In this block, you need to record outgoing

date_str = datetime.now().strftime("%d_%b_%Y_%H_%M_%S")      
chunkS = 100     
filename = "./genfiles/" + date_str + ".gz"       

ExRates = ImportCSV("exchrates/Currency rates.csv")      
log = open("logs/log_"+ date_str + ".txt","w+")       

pbar = tqdm(total=CountTableRows(con)/chunkS)     
dfSQL = pds.read_sql_query((SQL_columns + table + SQL_Where),con,chunksize=chunkS)            

for i,chunk in enumerate(dfSQL):                --In this loop, after the res function, we save the data to a file         
print("Reading a Block of Data...")         
res = Calculate(chunk,ExRates,log)         
df = dd.from_pandas(res, npartitions=3)         
print(chunk.dtypes)                 
pbar.update()                                                        
pbar.close()     
log.close()       
return filename

Answer 1

假设您使用的是 NoSQL 数据库，我之前使用以下函数将数据帧保存到数据库中，将其转换为 JSON 格式：

def dataframe_to_dict(df: pd.DataFrame) -> Dict[Any, Any]:
    data_dict = df.to_dict("list")
    d = {"data": data_dict, "dtypes": {col: df[col].dtype.name for col in df.columns}, "index": df.index}
    return d

然后从数据库读取时，我使用此函数将其转换回数据帧

def dict_to_dataframe(d: Dict[Any, Any]):
    df = pd.DataFrame.from_dict(d["data"])
    df.index = d["index"]

    for col, dtype in d["dtypes"].items():
        df[col] = df[col].astype(dtype)
    return df

您可以如果您的数据帧太大以至于它们甚至无法放入单个数据帧，则需要摆弄 dask。但这应该可以帮助您入门。