怎么样使大批量数据采集自动化
目前的情况是程序已分析出资源地址，要求能通过某种方式把资源下载到本地再进行分析，反复两次，最后再下载，分析数据已经实现了，但是如何能大批量高效率地自动下载资源是个问题，迅雷一次加八千多个任务就会反应慢，而资源数量达到了三百万之多，所以要手工完成超麻烦，请教各位有什么好办法或者有什么现成的工具能够实现采集任务自动化？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论