如何加速数据加载到InnoDB（LOAD DATA INFILE）？

Question

我想加快数据加载速度。

我使用MySQL 5.5，InnoDB，有1M行数据（65Mb文件）。需要 5 分钟。

哪些 mysql 设置和命令会影响 InnoDB 的 LOAD DATA INFILE 速度？

谢谢。

Answer 1

如果您因为要替换实时表的内容而很着急，那么可以这样做：

CREATE TABLE new LIKE live;
LOAD DATA ... INTO new;
RENAME TABLE live TO old, new TO live;
DROP TABLE old;

RENAME 是“瞬时”且原子的，因此您“永远”不会宕机，无论发生什么情况桌子尺寸。

（因此您不必太担心 LOAD 的速度。）

Answer 2

我可以推荐这些设置来缩短加载时间：

• innodb_doublewrite = 0
• innodb_support_xa = 0
• innodb_buffer_pool_size = (50-80% of system memory)
• innodb_log_file_size = (a large number - 256M etc)
• innodb_flush_log_at_trx_commit = 0

除了设置之外，还有一些你可以做的事情自己做：

• 加载后创建索引（这是 5.5/InnoDB 插件的新优化）。
• 加载前对数据文件进行排序。
• 分割数据文件，并行加载。

Answer 3

尝试删除索引和触发器。您可以在加载后重新创建它们。还要考虑使用 my-huge.cnf 中的一些高负载设置而不是默认设置。

更多 innodb 性能设置：

http://www.mysqlperformanceblog。 com/2007/11/01/innodb-performance-optimization-basics/

Answer 4

这可能不完全是您正在寻找的东西，但这是我过去使用过的技巧

ALTER TABLE TABLE_NAME DISABLE KEYS;
LOAD DATA INFILE ... ;
ALTER TABLE TABLE_NAME ENABLE KEYS;

希望它有所帮助。

Answer 5

如果可能的话，还要确保禁用二进制日志记录。