使用 LOAD DATA INFILE 将两个 CSV 文件加载到同一行中

Question

我有两个 CSV 文件，每个文件都包含我想要合并到一个数据库中的不同列。我使用两个文件中的所有列设置了一个数据库，但是当我使用 load data infile 导入两个文件而不是合并时（IE 数据文件 1 填充第 1-6 列，数据文件 2 填充 7-10 列），我得到一个数据库行数是两倍（每个 CSV 中的每条记录一行），并且 NULL 填充源 CSV 中未表示的数据。

我知道我可以通过以某种方式合并 CSV、在启用覆盖的情况下导入或合并数据库中的数据来解决此问题 - 对我来说最有效的方法是什么？

Answer 1

执行此操作的最佳方法是使用脚本。 CSV 导入脚本通常使用脚本语言（例如 python、ruby 或 php）编写。

您只需要第二个 CSV 的导入程序对第一个 CSV 中创建的记录执行更新，因此脚本实际上只有 5-10 行。如果您提供每个 CSV 的示例记录，我很乐意为您写一个。

编辑：这是一个用于组合文件的 python 脚本，在 file1 的行和 file2 的行之间添加分号。这本质上与 Linux 的 paste 命令的作用相同。

lines1 = open('file1.txt').readlines()
lines2 = open('file2.txt').readlines()
outfile = open('outfile.txt', 'w')

if len(lines1) != len(lines2):
    raise Exception("Files need to be the same length, but file1 is %s lines long and file2 is %s lines long" % (len(lines1), len(lines2)));

for i in range(len(lines1)):
    combined = lines1[i].strip() + ";" + lines2[i].strip() + "\n"
    outfile.write(combined)

您可以通过将其另存为 combine.py 并输入 python merge.py 来运行它。您放置的文件夹应包含 file1.txt、file2.txt 和 outfile.txt。

Answer 2

将两个 CSV 合并为一个。

如果您使用的是Linux平台，请使用paste命令来连接两个或多个文件。

PASTE(1)

NAME
       paste - merge lines of files

SYNOPSIS
       paste [OPTION]... [FILE]...

DESCRIPTION
       Write lines consisting of the sequentially corresponding lines from 
       each FILE, separated by TABs, to standard output.  
       With no FILE, or when FILE is -, read standard input.

       Mandatory arguments to long options are mandatory for short options too.

       -d, --delimiters=LIST
              reuse characters from LIST instead of TABs

       -s, --serial
              paste one file at a time instead of in parallel

       --help display this help and exit

       --version
              output version information and exit

例如

paste file1.csv file2.csv > file3.csv

Answer 3

我会看看 Perl 和 Text::CSV 模块。您需要考虑的一个问题是两个文件中的数据顺序是否相同。