给作者提几点意见,帮助完善
webmagic总的来说不错,结构合理,代码清晰。
不过我最终还是在0.43的基础上将它改写了,现在用的自己改写的版本,因为如下原因:
1.下载过程中,因为网络、代理等因素出现错误时的重试机制
2.连贯性页面数据的传递和关联问题
3.无法自动切换代理。
4.各请求随机自动更换UserAgent的问题
5.xsoup感觉还是不太好用,复杂的数据抽取支持不佳。
作者如果将这些点完善的话,感觉应该会好很多。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
1. 重试这块做过一些工作,支持失败重试什么的,不知道具体指的是?
2. 可以用过Request传递,对于简单场景应该够用了。
3. 自动切换代理,最近有个朋友提交过一个比较完整的patch,马上就能看到了
4. 这个功能也有人提到过,其实通过扩展Downloader可以实现,不在本身提供也是出于其他问题的考虑
5. xsoup是逐步完善的过程,希望多反馈点具体意见!