PHP大量数据数据导入
现在有个需求，要把excel数据导入到数据表中，但数据量比较大，最多的时候一次要导入几十W条数据，导入的数据不是直接写db的，是走接口的，接口一次性最多处理1000条，耗时比较长，现在有个想法，想把这个做成任务式的导入，每次导入就是创建一个导入任务，把所有任务做成队列，依次完成导入任务，有什么好的方法和建议
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（6）
你的想法很好，可惜PHP不适合做这种事情，建议用Java之类的语言来实现你的想法。
PHP有了任务，直接把任务参数提交到数据库。
Java在后台每100ms访问一次数据库，看看有没有任务，有就处理。
mysql load data infile 将数据快速导入到临时表
php守护进程分批将数据往接口同步（或者crontab写定时任务）
php默认30秒 ；你可以加个set_time_limit(99999999);
几十万数据 应该是不要1分钟就倒完了
Crontab + task list 做后台异步任务，很适合这种场景
php拼接成sql，直接mysql后台source导入
最好是分段导入，不要一次性导入