如何将 CSV 文件导入 MySQL 表？

Question

我有一个来自客户端的非标准化事件日记 CSV，我正在尝试将其加载到 MySQL 表中，以便我可以重构为正常的格式。我创建了一个名为“CSVImport”的表，其中 CSV 文件的每一列都有一个字段。 CSV 包含 99 列，因此这本身就是一项艰巨的任务：

CREATE TABLE 'CSVImport' (id INT);
ALTER TABLE CSVImport ADD COLUMN Title VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN Company VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN NumTickets VARCHAR(256);
...
ALTER TABLE CSVImport Date49 ADD COLUMN Date49 VARCHAR(256);
ALTER TABLE CSVImport Date50 ADD COLUMN Date50 VARCHAR(256);

表上没有任何约束，并且所有字段都保存 VARCHAR(256) 值，除了包含计数的列（由 INT 表示），是/否（由 BIT 表示）、价格（由 DECIMAL 表示）和文本简介（由 TEXT 表示）。

我尝试将数据加载到文件中：

LOAD DATA INFILE '/home/paul/clientdata.csv' INTO TABLE CSVImport;
Query OK, 2023 rows affected, 65535 warnings (0.08 sec)
Records: 2023  Deleted: 0  Skipped: 0  Warnings: 198256
SELECT * FROM CSVImport;
| NULL             | NULL        | NULL           | NULL | NULL               | 
...

整个表都充满了NULL。

我认为问题在于文本简介包含不止一行，并且 MySQL 正在解析该文件，就好像每一新行都对应于一个数据库行。我可以毫无问题地将文件加载到 OpenOffice 中。

clientdata.csv 文件包含 2593 行和 570 条记录。第一行包含列名称。我认为它是逗号分隔的，文本显然是用双引号分隔的。

更新：

如有疑问，请阅读手册： http://dev .mysql.com/doc/refman/5.0/en/load-data.html

我向 OpenOffice 足够智能的 LOAD DATA 语句添加了一些信息，现在它会加载正确的记录数：

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

但是仍然有很多完全 NULL 记录，并且加载的数据似乎都没有位于正确的位置。

Answer 1

使用 mysqlimport 将表加载到数据库中：

mysqlimport --ignore-lines=1 \
            --fields-terminated-by=, \
            --local -u root \
            -p Database \
             TableName.csv

我在 < a href="http://chriseiffel.com/everything-linux/how-to-import-a-large-csv-file-to-mysql/" rel="noreferrer">http://chriseiffel.com/everything -linux/how-to-import-a-large-csv-file-to-mysql/

要使分隔符成为制表符，请使用 --fields-termminate-by='\t'

Answer 2

您问题的核心似乎是将 CSV 文件中的列与表中的列进行匹配。

许多图形化的 mySQL 客户端对于此类事情都有非常好的导入对话框。

我最喜欢的工作是基于 Windows 的 HeidiSQL。它为您提供了一个图形界面来构建LOAD DATA命令；您可以稍后以编程方式重复使用它。

屏幕截图：“导入文本文件”对话框

打开导入文本文件”对话框，转到工具 > 导入 CSV 文件：

Answer 3

我导入 200 多行的最简单方法是在 phpmyadmin sql 窗口中的命令下方

我有一个包含两列的简单国家/地区表
CountryId,CountryName

这里是 .csv 数据

这里是命令：

LOAD DATA INFILE 'c:/country.csv' 
INTO TABLE country 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS

记住一件事，永远不要出现在第二列中，否则你的导入将会停止

Answer 4

我使用此方法在 0.046sec 内导入了超过 100K 记录 (~5MB)，

具体操作方法如下：

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

如果您有，包含最后一行非常重要多个字段，即通常它会跳过最后一个字段（MySQL 5.6.17）

LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

然后，假设您将第一行作为字段的标题，您可能还想包含这一行

IGNORE 1 ROWS

这就是看起来您的文件是否有标题行。

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
(field_1,field_2 , field_3);

Answer 5

phpMyAdmin可以处理CSV导入。步骤如下：

1. 准备 CSV 文件，使其字段的顺序与 MySQL 表字段的顺序相同。

2. 从 CSV 中删除标题行（如果有），以便文件中只有数据。

3. 进入phpMyAdmin界面。

4. 在左侧菜单中选择表格。

5. 单击顶部的导入按钮。

6. 浏览到 CSV 文件。

7. 选择选项“使用加载数据的 CSV”。

8. 在“字段终止于”中输入“,”。

9. 按照数据库表中的顺序输入列名。

10. 单击“执行”按钮即可完成。

这是我为将来使用而准备的笔记，如果其他人可以受益的话，请在此分享。

Answer 6

如果您使用 MySQL Workbench（当前为 6.3 版本），您可以通过以下方式执行此操作：

1. 右键单击​​“Tables”；
2. 选择表数据导入向导；
3. 选择您的 csv 文件并按照说明进行操作（也可以使用 JSON）；
   好处是，您可以根据要导入的 csv 文件创建新表或将数据加载到现有表

Answer 7

您可以通过列出 LOAD DATA 语句中的列来解决此问题。从手册：

LOAD DATA INFILE 'persondata.txt' INTO TABLE persondata (col1,col2,...);

...所以在您的情况下，您需要列出99 列，按照它们在 csv 文件中出现的顺序排列。

Answer 8

试试这个，它对我有用

    LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE table_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' IGNORE 1 ROWS;

IGNORE 1 ROWS 这里忽略包含字段名的第一行。请注意，对于文件名，您必须键入文件的绝对路径。

Answer 9

我看到一些奇怪的东西。用于 ESCAPING 的字符与用于 ENCLOSING 的字符相同。因此，当引擎发现“”时，它不知道该怎么做，我认为这就是为什么似乎没有什么东西在正确的位置。
我认为如果你删除 ESCAPING 行，应该运行得很好。例如：

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

除非您分析（手动、直观地……）您的 CSV 并找到哪个字符用于转义。有时是“\”。但如果您没有它，请不要使用它。

Answer 10

mysql命令行导入时容易出现太多问题。操作方法如下：

• 使用 Excel 编辑标题名称，使其不包含空格，
• 另存为 .csv
• 使用免费的 Navicat Lite Sql 浏览器导入并自动创建新表（为其命名）
• 打开新表插入主自动表ID 的数字列
• 根据需要更改列的类型。
• 完毕！

Answer 11

另一种解决方案是使用来自令人惊叹的 csvsql 工具https://github.com/wireservice/csvkit" rel="noreferrer">csvkit 套件。

使用示例：

csvsql --db mysql://$user:$password@localhost/$database --insert --tables $tablename  $file

该工具可以自动推断数据类型（默认行为）、创建表并将数据插入到创建的表中。 --overwrite 选项可用于删除表（如果已存在）。 --insert 选项 — 从文件填充表。

安装套件

pip install csvkit

先决条件： python-dev、libmysqlclient-dev、MySQL-python

apt-get install python-dev libmysqlclient-dev
pip install MySQL-python

Answer 12

如果您使用的是加载了 Excel 电子表格的 Windows 计算机，那么 Excel 的新 mySql 插件将是惊人的。 Oracle 的人员在该软件上确实做得很好。您可以直接从 Excel 建立数据库连接。该插件将分析您的数据，并以与数据一致的格式为您设置表格。我有一些巨大的 csv 文件需要转换。这个工具可以节省大量时间。

http://dev.mysql.com/downloads/windows/excel/

你可以从 Excel 中进行更新，并将其在线填充到数据库中。这对于在超便宜的 GoDaddy 共享主机上创建的 mySql 文件非常有效。 （请注意，当您在 GoDaddy 创建表时，您必须选择一些非标准设置才能启用数据库的异地访问...）

使用此插件，您可以在 XL 电子表格和在线 mySql 数据存储之间实现纯粹的交互。

Answer 13

如果你使用 Intellij
https://www.jetbrains.com/datagrip/features/importexport.html

Answer 14

我使用 mysql workbench 来做同样的工作。

1. 创建新架构
2. 打开新创建的架构
3. 右键单击​​“表”并选择“表数据导入向导”
4. 提供 csv 文件路径和表名称，最后配置列类型，因为向导根据其值设置默认列类型。

注意：使用“tail -f [mysqlworkbenchpath]/log/wb*.log”查看 mysql 工作台的日志文件中是否有任何错误

Answer 15

如何将 csv 文件导入 sql 表

示例文件：Overseas_trade_index 数据 CSV 文件

步骤：

1. 需要为 overseas_trade_index 创建表。

2. 需要创建与csv文件相关的列。

   SQL 查询：

   ( id int not null 主键自动增量，
   系列参考 varchar (60),
   时期 varchar (60),
   数据值十进制(60,0),
   状态 varchar (60),
   单位 varchar (60),
   震级 int(60),
   主题文本(60),
   组文本(60),
   Series_title_1 varchar (60),
   Series_title_2 varchar (60),
   Series_title_3 varchar (60),
   Series_title_4 varchar (60),
   Series_title_5 varchar (60),
    ）；
   

3. 需要在终端连接mysql数据库。

   =>显示数据库；
   =>使用数据库；
   =>显示表格；
   

4. 请输入此命令将csv数据导入mysql表。

   将文件“/home/desktop/Documents/overseas.csv”中的数据加载到以“,”结尾的表 trade_index 字段中，以“\n”结尾的行（series_reference、period、data_value、status、units、magnitude、主题、系列标题1、系列标题_2、系列标题_3、系列标题_4、系列标题_5）；
   

5. 在sqldatabase上查找该海外贸易指数数据：

   从 trade_index 中选择*；
   

Answer 16

我知道我的回答已经晚了，但我想提一下其他一些方法。
最简单的一种是使用命令行。步骤如下：

1. 输入以下命令访问 MySQL CLI：

mysql -u my_user_name -p

2. 在数据库中创建表

使用new_schema；

创建表员工详细信息（
id 整数，
员工姓名 VARCHAR(100),
员工年龄 INTEGER，
主键（id）
）；

3. 将 CSV 文件导入到表中。我们可以指定文件路径或将文件存储在 MySQL 服务器的默认目录中。

LOAD DATA INFILE '导出的 csv 文件的路径'
INTO表employee_details
以“,”结尾的字段
忽略 1 行；

这是众多解决方案中唯一的一个，我在这个 教程
如果将 CSV 文件加载到 MySQL 数据库是您的日常任务，那么最好自动化此过程。在这种情况下，您可以使用一些第三方工具来按计划加载数据。

Answer 17

我使用 phpmyadmin 以简单的方式完成了它。我按照@Farhan 的步骤操作，但所有数据都在单列​​中进行了更改。
我是如何做的：

1. 创建一个 CSV 文件并删除带有列名称的标题行。仅保留数据。
2. 我创建了一个表，其列名称与 csv 列匹配。
3. 请记住为每列分配适当的类型。
4. 我刚刚选择导入并转到导入选项卡。
5. 在浏览中，我选择了 CSV 文件并保留所有选项不变。
6. 令我惊讶的是，所有数据都成功导入到相应的列中。

Answer 18

PHP 查询导入 csv 文件到 mysql 数据库

$query = <<<EOF
            LOAD DATA LOCAL INFILE '$file'
             INTO TABLE users
             FIELDS TERMINATED BY ','
             LINES TERMINATED BY '\n'
             IGNORE 1 LINES
            (name,mobile,email)
    EOF;
if (!$result = mysqli_query($this->db, $query))
   {
        exit(mysqli_error($this->db));
   }

**示例 CSV 文件数据 **

name,mobile,email
Christopher Gritton,570-686-3439,[email protected]
Brandon Wilson,541-309-5149,[email protected]
Craig White,516-795-8065,[email protected]
David Whitney,713-214-3966,[email protected]

Answer 19

以下是示例 Excel 文件屏幕截图：

另存为并选择 .csv。

如果使用记事本++或任何其他记事本打开，您将获得如下所示的.csv数据屏幕截图。

确保删除标题并在 .csv 中像 mysql 表一样进行列对齐。
将folder_name 替换为您的文件夹名称

LOAD DATA LOCAL INFILE
'D:/文件夹名称/myfilename.csv'
进入表邮件
以“,”结尾的字段
(fname,lname,email,phone);

如果数据量很大，你可以喝咖啡然后加载它！

这就是你所需要的。

Answer 20

更改服务器名、用户名、密码、数据库名、文件路径、表名以及要插入的数据库中的字段

<?php
    $servername = "localhost";
    $username = "root";
    $password = "";
    $dbname = "bd_dashboard";
    //For create connection
    $conn = new mysqli($servername, $username, $password, $dbname);

    $query = "LOAD DATA LOCAL INFILE 
                'C:/Users/lenovo/Desktop/my_data.csv'
                INTO TABLE test_tab
                FIELDS TERMINATED BY ','
                LINES TERMINATED BY '\n'
                IGNORE 1 LINES
                (name,mob)";
    if (!$result = mysqli_query($conn, $query)){
        echo '<script>alert("Oops... Some Error occured.");</script>';
        exit();
            //exit(mysqli_error());
       }else{
        echo '<script>alert("Data Inserted Successfully.");</script>'
       }
    ?>

Answer 21

执行 MySQL 查询导入 CSV 时出现错误
'错误代码：1290。MySQL 服务器正在使用 --secure-file-priv 选项运行，因此无法执行此语句'

因此我将文件移动到安全文件位置，

LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/Orders.csv'   
INTO TABLE orderdetails.orders 
FIELDS TERMINATED BY ','  
 ENCLOSED BY '"'
 LINES TERMINATED BY '\n'
 IGNORE 1 ROWS

其中文件位置为“C” :/ProgramData/MySQL/MySQL Server 8.0/Uploads/Orders.csv' 这是因为，我将 CSV 文件移动到了 'secure_file_priv' 位置，否则我收到上述错误

您可以使用查询 SHOW VARIABLES LIKE " 获取 secure_file_priv secure_file_priv";

来源：将 CSV 文件导入 MySQL（查询或使用 Workbench）

Answer 22

您好，使用 use teminal 将 csv 导入您的 mysql 数据库，因为如果
数据集很大，那么很难从文件上传选项导入数据。

基本上我们首先使用表导入数据，然后在数据库中创建表。
提交同一个表后，我们必须从 csv 创建数据。

您必须添加 csv 文件 导航到以下目录：/var/lib/mysql-files 但如果您不使用 root 用户，那么它不能直接转到 /var/lib/mysql -files 所以使用 ui 首先转到 /var/lib 然后
单击mysql-files，然后输入您的 root 用户密码。然后复制
我们在表中导入的 csv 文件。

在 termianl 中登录 mysql 并选择数据库后，然后在下面触发
syntex 数据

LOAD DATA INFILE '/var/lib/mysql-files/{your-csv-name}'
INTO TABLE {your-table-name}
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

例如，我的表是示例，mycsv 文件是 Sample.csv，然后如下
参考

LOAD DATA INFILE '/var/lib/mysql-files/Sample.csv' INTO TABLE sample FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 LINES;

对于导入大量 csv，最好的方法是使用 mysql 终端
将数据导入数据库中。

请检查此链接的示例：Mysql使用终端或命令行使用csv导入数据

Answer 23

喜欢使用 HeidiSQL 接受的答案。现在有很多选项可以将 CSV 文件导入 MySQL。提问者的文本/字符串列格式很奇怪。所以，我也想尝试一下。
我将使用另一个选项，它也是 GUI，但基于云。根据您的 MySQL 实例所在的位置，您是否需要安装某些内容。如果它在云中，则无需安装任何内容。如果它位于本地且无法通过 Internet 访问，则您需要一个客户端应用程序来将该工具连接到它。
现在，云中有很多数据集成工具，但我将使用我熟悉的一个 Skyvia。再次强调，您并不局限于此特定产品。
假设我有以下 CSV 文件，其中包含 3 列“姓名”、“出生日期”和“备注”。

有换行符，有些用引号引起来，有些则没有。
由于我的笔记本电脑上有 MySQL 实例，因此我必须安装 Skyvia Agent 以安全地允许 Skyvia 访问数据并将数据写入其中。下面显示正在运行：

目标表是这样的：

create table testdatabase.csvdump
(
  name varchar(50) default null
, birthdate date default null
, remarks varchar(255) default null
)
engine = innodb,
character set utf8mb4,
collate utf8mb4_0900_ai_ci;

在 Skyvia 中，我使用代理创建了一个连接。

然后，我创建了一个导入作业，如下所示：

我使用了之前创建的 MySQL 连接。然后，我创建了一个任务来获取 CSV，对其进行一些配置，并将列映射到 MySQL。我只是简单一点，所以我只上传了 CSV 文件，但它可以来自 Google Drive、Onedrive 等。请参阅下面的源定义：

然后在下面，我指定了目标表以及要使用的操作（Insert 、更新等）

然后，我将 CSV 的列映射到表中。无需人工干预即可很好地绘制地图。请参阅以下结果：

然后，我保存了任务和导入集成。
最后，我单击“运行”并等待了几秒钟。
这是我选择它时的结果：

导入进展顺利。

如果需要无人值守执行，可以安排导入集成定期运行。

LOAD INFILE 很好，但我必须找出正确的语法。如果这种事情是您大部分时间的工作，并且您也需要节省时间来让下一次集成工作，那么上述内容很好。

这是我的工具集中的另一个选项。您可以选择类似的工具或对其进行编码。有多种选择是件好事。

希望这有帮助。

Answer 24

使用 mysqlimport 从 csv 导入数据设置起来很棘手，但一旦完成就可以顺利运行。

假设您有一个具有以下结构的 csv：

jourid,acctid,revid,byto,amount,linenum,adjusted,cleared,version
100888,101019,101001,1,100.00,1,0,0,0
100888,101666,101001,1,200.00,2,0,0,0
100888,101001,101666,-1,300.00,3,0,0,0

首先创建一个要删除的 sql，并在数据库中创建要导入的表。让文件为“tabvoucher.sql”。它应该命名为向表名

tabvoucher.sql 添加 sql 扩展：

drop table if exists tabvoucher;

create table tabvoucher (
  `jourid` int unsigned, 
  `acctid` int unsigned, 
  `revid` int unsigned, 
  `byto` int, 
  `amount` decimal(30, 2), 
  `linenum` int, 
  `adjusted` tinyint, 
  `cleared` tinyint, 
  `version` int
);

然后运行命令：

mysql -u{username} -p{password} --host={localhost} --port={port} {database} < \path\to\tabvoucher.sql

将 {} 中的字段替换为您的登录名和数据库详细信息。请勿包含 { 和 }。
确保表已成功创建。

现在运行 mysqlimport

mysqlimport -d --ignore-lines=1 -h {localhost} --port {port} -u{username} -p{password} --fields-terminated-by=, --fields-enclosed-by=\" --fields-escaped-by=\" --lines-terminated-by=\r\n tutorial \path\to\tabvoucher.csv -v --columns=`jourid`,`acctid`,`revid`,`byto`,`amount`,`linenum`,`adjusted`,`cleared`,`version`

验证所有 --fields* 是否设置正确。
您必须指定 --columns 从 csv 第一行复制列表并为所有字段添加分隔符 `。

您应该得到类似于以下内容的输出：

Connecting to localhost
Selecting database tutorial
Deleting the old data from table tabvoucher
Loading data from SERVER file: path\to\tabvoucher.csv into tabvoucher
tutorial.tabvoucher: Records: 3  Deleted: 0  Skipped: 0  Warnings: 0
Disconnecting from localhost