两个如何用python水平合并多个.csv文件？

Question

我有几个 .csv 文件（~10），需要将它们水平合并到一个文件中。每个文件具有相同的行数 (~300) 和 4 个标题行，这些标题行不一定相同，但不应合并（仅从第一个 .csv 文件中获取标题行）。行中的标记以逗号分隔，中间没有空格。

作为一个Python菜鸟，我还没有想出解决方案，尽管我确信这个问题有一个简单的解决方案。欢迎任何帮助。

Answer 1

您可以使用 Python 中的 csv 模块加载 CSV 文件。加载代码请参考该模块的文档，我不记得了，但它真的很容易。类似于：

import csv
reader = csv.reader(open("some.csv", "rb"))
csvContent = list(reader)

之后，当您以这种形式（元组列表）加载 CSV 文件时：

[ ("header1", "header2", "header3", "header4"),
  ("value01", "value12", "value13", "value14"),
  ("value11", "value12", "value13", "value14"),
  ... 
]

您可以逐行合并两个这样的列表：

result = [a+b for (a,b) in zip(csvList1, csvList2)]

要保存这样的结果，您可以使用：

writer = csv.writer(open("some.csv", "wb"))
writer.writerows(result)

Answer 2

csv 模块是你的朋友。

Answer 3

如果你不一定要使用Python，你可以使用 shell 工具，如 paste/gawk 等。

$ paste file1 file2 file3 file4 .. | awk 'NR>4'

上面会将它们水平放置，不带标题。如果您想要标头，只需从 file1 获取它们即可

$  ( head -4 file ; paste file[1-4] | awk 'NR>4' ) > output

Answer 4

您不需要为此使用 csv 模块。你可以使用

file1 = open(file1)

打开所有文件后你可以这样做

from itertools import izip_longest

foo=[]
for new_line in izip_longest(file1,fil2,file3....,fillvalue=''):
    foo.append(new_line)

这会给你这个结构（kon已经告诉你了）..如果每个文件中有不同的行数，它也会起作用

[ ("line10", "line20", "line30", "line40"),
  ("line11", "line21", "line31", "line41"),
  ... 
]

之后你可以写它到一个新文件，一次获取 1 个列表

for listx in foo:
    new_file.write(','.join(j for j in listx))

PS：有关 izip_longest 的更多信息 此处

Answer 5

你通过实践（甚至尝试）来学习。所以，我只会给你一些提示。使用以下函数：

• 要打开文件： open()
• 要读取文件中的所有行： < code>IOBase.readlines()
• 根据一系列分割标记分割字符串： str.split()

如果您真的不知道该怎么做，我建议您阅读教程 和 深入了解 Python 3。 （根据您对 Python 的了解程度，您要么必须阅读前几章，要么直接跳到文件 IO 章节。）

Answer 6

纯粹出于学习目的

一种不利用 csv 模块的简单方法：

# open file to write
file_to_write = open(filename, 'w')
# your list of csv files
csv_files = [file1, file2, ...] 

headers = True
# iterate through your list
for filex in csv_files:
    # mark the lines that are header lines
    header_count = 0
    # open the csv file and read line by line
    filex_f = open(filex, 'r')
    for line in filex_f:
        # write header only once
        if headers:
            file_to_write.write(line+"\n")
            if header_count > 3: headers = False
        # Write all other lines to the file
        if header_count > 3:
            file_to_write.write(line+"\n")
        # count lines
        header_count = header_count + 1
    # close file
    filex_f.close()
file_to_write.close()