用于在 MySQL 中执行非常大 (20 GB) .sql 文件的更高速度选项

发布于 2024-09-01 15:11:27 字数 227 浏览 17 评论 0原文

为了响应政府的数据请求，我的公司收到了一个 20+ GB 的 .sql 文件。我没有太多选择来获取不同格式的数据，因此我需要选择如何在合理的时间内导入数据。我使用 Navicat 的批处理执行工具在高端服务器（Win 2008 64 位，MySQL 5.1）上运行它。它已经运行了 14 个小时，并且没有任何即将完成的迹象。

有谁知道此类交易有更高速度的选择吗？或者考虑到文件很大，这是我应该期待的吗？

谢谢

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

北渚 2024-09-08 15:11:27

我猜你的意思是它是由 mysqldump 生成的文件作为数据库的备份，因此它主要包含 CREATE TABLE 和 INSERT 语句。

（但严格来说，SQL 脚本可以包含任何内容，例如长时间运行的存储过程的定义和执行、导致死锁的查询等。我假设情况并非如此。）

鉴于您有备份文件并且无法更改文件类型，您可以采取以下措施来加快恢复速度：

禁用外键检查：SET FOREIGN_KEY_CHECKS=0（记住重新启用
然后）。也禁用唯一检查： SET UNIQUE_CHECKS =0
确保您的key_buffer_size 设置得尽可能大。默认为 8MB，最大为 4GB。我会尝试 1GB。
这些第一个提示来自 Baron Schwartz 的帖子：http://lists.mysql.com/ mysql/206866
确保您的innodb_buffer_pool_size设置得尽可能大。默认为 8MB，最大为 4GB。我会尝试 1GB。
设置innodb_flush_log_at_trx_commit = 2
@Mark B 在下面添加了一个很好的建议：禁用键恢复期间。您可以这样做：
```
ALTER TABLE <表名>禁用按键；
...运行您的恢复...
ALTER TABLE <表名>启用按键；
```
但是该命令一次仅影响一个表。您必须为每个表发出单独的命令。也就是说，通常情况下，一个表比其他表大得多，因此您可能只需要禁用该大表的键。
此外，如果包含还原的 SQL 脚本删除并重新创建表，这将避免禁用键。您必须找到某种方法来插入命令以在创建表之后和插入行之前禁用键。您可能需要创造性地使用 sed 来预处理 SQL 脚本，然后再将其提供给 mysql 客户端。
使用 Percona Server 版本的 mysqldump，以及 - -innodb-optimize-keys 选项。

I guess you mean it's a file produced by mysqldump as a backup of a database, so it contains mostly CREATE TABLE and INSERT statements.

(But strictly speaking, an SQL script can contain anything, such as definition and execution of long-running stored procedures, queries that result in deadlocks, etc. I'll assume this is not the case.)

Here are some things you can do to speed up restore, given that you have the backup file and can't change the type of file it is:

Disable foreign key checks: SET FOREIGN_KEY_CHECKS=0 (remember to re-enable
afterwards). Disable unique checks too: SET UNIQUE_CHECKS=0
Make sure your key_buffer_size is set as large as possible if you use MyISAM tables. The default is 8MB, and the max is 4GB. I'd try 1GB.
These first tips come from a post by Baron Schwartz: http://lists.mysql.com/mysql/206866
Make sure your innodb_buffer_pool_size is set as large as possible if you use InnoDB tables. The default is 8MB, and the max is 4GB. I'd try 1GB.
Set innodb_flush_log_at_trx_commit = 2 during the restore if you use InnoDB tables.
@Mark B adds a good suggestion below to disable keys during a restore. This is how you do it:
```
ALTER TABLE <table-name> DISABLE KEYS;
...run your restore...
ALTER TABLE <table-name> ENABLE KEYS;
```
But that command affects only one table at a time. You'll have to issue a separate command for each table. That said, it's often the case that one table is much larger than the other tables, so you may need to disable keys only for that one large table.
Also, if the SQL script containing your restore drops and recreates tables, this would circumvent disabling keys. You'll have to find some way to insert the commands to disable keys after the table is created and before rows are inserted. You may need to get creative with sed to preprocess the SQL script before feeding it to the mysql client.
Use the Percona Server version of mysqldump, with the --innodb-optimize-keys option.