加快InnoDB mysql数据库导入速度

Question

我刚买了一台新的 mysql 机器（16gb 内存，4 个 SAS 15k rpm 300GB 驱动器，RAID10），所以机器速度相当快。

我一直在导入几个数据库，每个数据库有几百万个项目，但需要相当长的时间，比我想象的要长。我看到每秒大约有 1000 次插入，我相信它应该能够做更多的事情。此外，进程运行的时间越长，速度就越慢。

这是我的配置，任何加快速度的技巧，但这不会损害数据的可靠性。

[mysqld]
skip-name-resolve
datadir=/var/lib/mysql
#socket=/tmp/mysql.sock
log-error=/var/log/mysqld.log
port=48221
user=mysql
old_passwords=0
max_connections = 1500
table_cache = 1024
max_allowed_packet = 16M
sort_buffer_size = 2M
thread_cache = 8
thread_concurrency = 32
query_cache_size = 0M
query_cache_type = 0
default-storage-engine = innodb
transaction_isolation = REPEATABLE-READ
tmp_table_size = 256M
long_query_time = 3
log_slow_queries = 1
innodb_additional_mem_pool_size=48M
innodb_flush_log_at_trx_commit=2
innodb_log_buffer_size=32M
innodb_buffer_pool_size=2G
innodb_autoinc_lock_mode=2
innodb_io_capacity=500
innodb_read_io_threads=16
innodb_write_io_threads=8
innodb_buffer_pool_size = 5000M
innodb_lock_wait_timeout = 300
innodb_max_dirty_pages_pct = 90
innodb_thread_concurrency =32

[mysqldump]
quick
single-transaction

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

Answer 1

您可以在导入期间删除索引，并在完成后重建它们。您还应该尝试对插入进行分块，在自动提交和单个事务中的所有插入之间寻找最佳点。