迁移数据效率问题
问题描述如下
100万数据从A机房的一个表迁移到B机房的一个表，两个表结构不一样。我的实现方法如下：查出数据来，java层面进行数据的转义，然后开了30个线程，进行分页同步数据。即每次查询500条数据，然后插入B机房的表。线程池中有30个线程。
现在的问题是：
迁移到效率很慢，很慢。17万数据就用了一个多小时，还没有跑完数据，请问有什么方案可以提高效率的么？？？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（3）
有3个地方可能存在效率问题
JDBC调用的时候没有采用Batch Update，导致性能低
每次查500条太少了，每次查个几千条应该没问题
B机房的表有索引、约束，应该在迁移的时候把这些关掉或者drop掉，迁移完成后再打开
你这速度不正常，IO满了吗？还是网络有问题？我原来用kettle做迁移一小时几百万数据，因为ETL工具用惯了，所以数据迁移从来不写程序。
呃。。，为什么要用java呢？100万的数据很多吗，备份出来再倒入，在同一个机器做不是更快？