Python：如何批次读取Glob Batch的CSV文件，并存储在数据框架中

Question

我在文件夹中有大量 .csv 文件。所有 .csv 文件具有相同的列名。以下代码合并了所有 .csv 文件。但是我必须在下一步11到20之后将前10个 .csv 文件合并。问题/23735529/how-to-to-to-lob-to-to-to-to-to-to-to-limited-of-files-with-numeric-names“>解决方案1 ​​和解决方案2 如果文件名称是数字，但我的情况文件名是不遵循任何模式。

# Merge .csv files in one place
import glob
import os
import pandas as pd  

path = r'D:\Course\Research\Data\2017-21'  
print(path)
all_files = glob.glob(os.path.join(path, "*.csv"))
df_from_each_file = (pd.read_csv(f,encoding='utf8',error_bad_lines=False) for f in all_files)
merged_df = pd.concat(df_from_each_file)

Answer 1

除了上面的评论，这是一个更简单的解决方案。

• 所有必需的CSV文件均由Glob收集。在当前状态下，该列表是 的排序，但可以根据您的要求，
• 将文件列表迭代在10条文件厨房中，
• 每个块被读取并将其串联到合并的dataFrame中：<代码> dfm
• 对数据框进行操作
• to_csv示例使用随机的4字节十六进制字符串来确保唯一性 *对输出文件

*注意：注意：此IS 不是保证的唯一性，但我正在使用的50个示例数据文件就足够了。

示例代码：

import os
import pandas as pd
from glob import glob

dfm = pd.DataFrame()
files = glob(os.path.join('./csv2df', 'file*.csv'))  # 50 CSV files

for i in range(0, len(files), 10):
    dfm = pd.concat(pd.read_csv(f) for f in files[i:i+10])
    # Do whatever you want with the merged DataFrame.
    print(dfm.head(10), dfm.shape)
    print('\n')
    # Write to CSV?
    dfm.to_csv(f'./csv2df/merged_{os.urandom(4).hex()}.csv', index=False)

输出：

以下是打印语句的示例输出：

      col1     col2     col3     col4
0   file49   file49   file49   file49
1  data1.1  data1.2  data1.3  data1.4
2  data2.1  data2.2  data2.3  data2.4
3  data3.1  data3.2  data3.3  data3.4
4  data4.1  data4.2  data4.3  data4.4
5  data5.1  data5.2  data5.3  data5.4
0   file30   file30   file30   file30
1  data1.1  data1.2  data1.3  data1.4
2  data2.1  data2.2  data2.3  data2.4
3  data3.1  data3.2  data3.3  data3.4 (60, 4)
    
...
      col1     col2     col3     col4
0   file14   file14   file14   file14
1  data1.1  data1.2  data1.3  data1.4
2  data2.1  data2.2  data2.3  data2.4
3  data3.1  data3.2  data3.3  data3.4
4  data4.1  data4.2  data4.3  data4.4
5  data5.1  data5.2  data5.3  data5.4
0   file42   file42   file42   file42
1  data1.1  data1.2  data1.3  data1.4
2  data2.1  data2.2  data2.3  data2.4
3  data3.1  data3.2  data3.3  data3.4 (60, 4)

CSV文件列表：

merged_5314ad49.csv
merged_5499929e.csv
merged_5f4e306a.csv
merged_74746bd8.csv
merged_b9def1d6.csv

Answer 2

这是一个建议使用 islice> islice> islice（islice）（） 来自标准库模块itertools以获取多达10个文件的块：（

from pathlib import Path
from itertools import islice
import pandas as pd

csv_files = Path(r"D:\Course\Research\Data\2017-21").glob("*.csv")
while True:
    files = list(islice(csv_files, 10))
    if not files:
        break
    dfs = (pd.read_csv(file) for file in files)
    merged_df = pd.concat(dfs, ignore_index=True)
    # Do whatever you want to do with merged_df
    print(merged_df)

我还在使用标准库模块 pathlib pathlib 因为它更方便。