可以编写这些to_csv函数以使它们同时将数据从数据框架加载到CSV？

Question

if len(isd) != 0:
    isd.to_csv("Issuedate.csv")
if len(ind) != 0:
    ind.to_csv("Inceptiondatecsv")
if len(exd) != 0:
    exd.to_csv("Expirydate.csv")
if len(psd) != 0:
    psd.to_csv("policystatedate.csv")
if len(visd) != 0:
    visd.to_csv("vehicleissuedate.csv")
if len(vind) != 0:
    vind.to_csv("vehicleinceptiondate.csv")
if len(vexd) != 0:
    vexd.to_csv("vehicleexpirydate.csv")
if len(sd) != 0:
    sd.to_csv("statusdate.csv")
if len(ise) != 0:
    ise.to_csv("istemarhexpiry.csv")
if len(idb) != 0:
    idb.to_csv("insureddateofbirth.csv")
if len(mdd) != 0:
    mdd.to_csv("maindriverdob.csv")
if len(add) != 0:
    add.to_csv("adddriverdob.csv")

可以使用多线程或多处理可以加速这些。我是Python的新手，想同时将数据加载到CSV文件。

Answer 1

有几个问题。我找不到有关to_csv dataFrame方法是否释放GIL的任何文档。如果我们知道它确实如此，那么我们将要使用一个多线程池，因为我们仍然会进行并行处理，并且我们不会遭受通过（大型？）数据帧从主进程的地址空间传达给池的子过程的（大型？）数据框地址空间（通过泡菜）。但是，无论我们是使用多线程或多处理，您都将尝试并行进行多个文件创建。取决于您是否具有固态驱动器以及其特征是什么，由于头部移动过多，这可能会适得其反，并且您只能进行I/O操作的有限带宽。因此，假设我们必须使用更昂贵的多处理池进行处理，则根本不清楚如果有的话将得到多少性能。

但这就是您可以做到的（函数main1）。我还添加了函数main2，该功能串行进行相同的处理，并且我两次都比较。我只有两个微不足道的数据范围和一个非固定状态驱动器，因此所得数字可能与您的情况有很大不同：

def save_df(df, csv_name):
    df.to_csv(csv_name)


def main1():
    import time
    import pandas as pd
    from multiprocessing import Pool, cpu_count

    df1 = pd.DataFrame({
        'Name': ['Tom', 'Dick', 'Harry', 'Jane'],
        'Age': [10, 20, 30, 39],
        'Sex': ['M', 'M', 'M', 'F']
    })

    df2 = pd.DataFrame({
        'Name': ['X', 'Y', 'Z'],
        'Age': [10, 20, 30],
        'Sex': ['F', 'M', 'F']
    })

    # Somehow we have a list of tuples consisting of dataframe, csv-name pairs
    dfs = [(df1, 'df1.csv'), (df2, 'df2.csv')]

    # Filter these so that we do not unproductively submit 0-length dataframes:
    filtered_dfs = list(filter(lambda t: len(t[0]), dfs))
    pool_size = min(len(filtered_dfs), cpu_count())
    t = time.time()
    with Pool(pool_size) as pool:
        pool.starmap(save_df, filtered_dfs)
    print(time.time() - t)

def main2():
    import time
    import pandas as pd

    df1 = pd.DataFrame({
        'Name': ['Tom', 'Dick', 'Harry', 'Jane'],
        'Age': [10, 20, 30, 39],
        'Sex': ['M', 'M', 'M', 'F']
    })

    df2 = pd.DataFrame({
        'Name': ['X', 'Y', 'Z'],
        'Age': [10, 20, 30],
        'Sex': ['F', 'M', 'F']
    })

    # Somehow we have a list of tuples consisting of dataframe, csv-name pairs
    dfs = [(df1, 'df1.csv'), (df2, 'df2.csv')]

    # Filter these so that we do not unproductively submit 0-length dataframes:
    filtered_dfs = list(filter(lambda t: len(t[0]), dfs))
    t = time.time()
    for df, csv in filtered_dfs:
        save_df(df, csv)
    print(time.time() - t)

if __name__ == '__main__':
    main1()
    main2()

印刷：

0.6069865226745605
0.002997159957885742

由于我们使用的多处理与save_df 此类小型数据框架的工作功能。由于需要通过save_df进行的工作随着较大的数据框而增加，因此多处理可能开始看起来更好。