@黄亿华 你好,想跟你请教个问题:WebMagic 断点续爬 有没有什么更好的方案啊? 我目前采用的方式就是:对所有已经采集的地址进行标识,判断是否采集过,但这种方式笨,在遇到调度的时候就显得力不从心了,还要进行手动清理标识
我也想知道。 @黄亿华
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
暂无简介
文章 0 评论 0
接受
发布评论
评论(1)
我也想知道。 @黄亿华