这个采集需求的思路是？

Question

采集需求如下：
1、采集某网站的若干文章和评论，入库
2、本站用户新发布文章、评论（包括对已采集的文章附加评论）
3、定期再将采集网站相关文章最近更新的未采集评论附加入库
大家对这个采集需求有什么好的思路呢，如何做到更新最高效？

Answer 1

写爬虫的童鞋可以试试神箭手云爬虫，自带JS渲染、代理ip、验证码识别等功能，还可以发布和导出爬取的数据，生成图表等，都在云端进行，不需要安装开发环境。

Answer 2

谢谢大家，这个问题已解决了！
将已采集的数据做标记保存起来，下次采集的时候进行比对。