如何在使用 LOAD DATA 命令时跳过 csv 文件的行？

Question

我正在使用 sql 命令加载数据将 csv 文件中的数据插入到 mysql 数据库中。问题是在文件末尾有几行像“,,,,,,,,,,,,,,,,,,”（csv文件是excel文件的转换）。因此，当 sql 到达这些行时，他向我发送：#1366 - 错误的整数值：第 661 行的“Bug_ID”列的“”。 'bug_id' 是一个 int，我有 32 列。

考虑到归档行数是可变的，我怎样才能告诉他忽略这些行？

感谢您的帮助。

Answer 1

MySQL 在读取分隔文本文件时支持“LINES STARTING BY "xxxx"”。如果可以的话，要求您的特定 .CVS 文件的每个数据行都带有“前缀”，而非数据行则没有该前缀。这使您能够根据需要将注释放入 .CSV 中。

MySQL 文档： 在文件中加载数据

您可以：

步骤1 - （可选）导出数据：

SELECT * 
  INTO OUTFILE "myFile.csv"
  COLUMNS TERMINATED BY ','
  OPTIONALLY ENCLOSED BY '"'
  ESCAPED BY '\\'
  LINES STARTING BY 'DATA:'
  TERMINATED BY '\n'
FROM table

步骤 2 - 导入数据

LOAD DATA INFILE "myFile.csv"
INTO TABLE some_table
     COLUMNS TERMINATED BY ','
     OPTIONALLY ENCLOSED BY '"'
     ESCAPED BY '\\'
     LINES STARTING BY 'DATA:'

实际上，您可以将 .csv 文件修改为如下所示：

# Comment for humans
// Comment for humans
Comments for us humans.
DATA:1,3,4,5,6,'asdf','abcd'
DATA:4,5,6,7,8,'qwerty','zxcv'
DATA:9,8,7,6,5,'yuio','hjlk'
# Comments for humans
// Comments for humans
Comments for humans
DATA:13,15,64,78,54,'bla bla','foo bar'

只有带有“DATA:”前缀的行才会被构造解释/读取。

我使用这种技术为需要外部控制信息的 SQL 脚本创建了一个“配置”文件。但存在人为因素，需要能够轻松操作 .csv 文件并理解其内容。

——J·乔根森——

Answer 2

我修好了：
我刚刚在 csv 解析器中添加了一个条件

while ((line = is.readLine()) != null) {

  if (!line.equals(",,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,"))
      {
  Iterator e = csv.parse(line).iterator();
      ......
      }

}