使用LOAD DATA INFILE导入大数据文件时如何保持MYSQL性能？
我正在使用一个大型数据库（某些表有 500000000+ 行）。每天应使用 LOAD DATA INFILE 替换 3-1000 万行，每次导入大约 100 万行（因此使用 CRON 每天 3-10 次）。 问题是，在导入如此大的文件时，MySQL 会占用 80% 的 CPU，并且来自网站的所有常见查询都变得非常慢或网站性能下降。 站点在 Amazon 的 EC2 Windows 2008 服务器下运行。 有谁知道如何在一个EC2实例中解决这个问题（不拆分数据库） 谢谢。
I'm working with a large database (some tables 500000000+ rows) . Each day 3-10 millions rows should be replaced and each import is about 1 million rows (so 3-10 times a day with CRON) using LOAD DATA INFILE.
The problem is, that while making such big file import, MySQL eats 80% of CPU and all common queries going from website became very slow or website performance falls down.
Site is running under Amazon's EC2 Windows 2008 server.
Does anyone know how to solve this problem within one EC2 instance (without splitting database)
Thanks.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
一个快速而肮脏的黑客...如何将源文件分割成更小的负载，然后将其作为数据库加载操作进行定时，每次加载之间有 5 分钟的休息时间？一次管理1000万条记录会耗尽许多服务器和数据库资源，从而导致崩溃。如果您有一台具有大量内存的大型服务器，仅使用 50-100K 的负载可能还不错。
A quick and dirty hack... What about splitting the source files into smaller loads, which are then cron'ned as a DB load operation, with a 5 minute break between each load? Managing 10 million records at a time will exhaust many server and DB resources, and hence the crash. Using loads of only 50-100K may not be too bad if you have a large server with lots of memory.
分销似乎是可行的方法（这就是Facebook的做法）
不知道你不这样做的理由是什么，预算限制？
其他可能的方法
很大程度上取决于您的数据库使用情况，如果不是关键任务，则进行离线导入非常合适
distribution seems the way to go (that's how facebook does things)
not sure what is the rational for you not to do so, budget constraints?
other possible approaches
is much depend on your database usage, if not mission critical, do an offline import much suitable