Java爬虫的翻页技巧？怎么写个比较通用的翻页方法？？？

Question

Java爬虫的翻页技巧？怎么写个比较通用的翻页方法？？？

Answer 1

webmagic国内开源的就可以.

Answer 2

你试试爬虫软件啊，据我所知前嗅有一款软件叫ForeSpider就是支持翻页效果的，操作也是很简单的，不仅指出翻页，像是登录、Cookie、Post、https、验证码、JS、Ajax、关键词搜索都是支持的。

你可以下一个免费版感受一下。

Answer 3

爬虫翻页应该是没有通用的翻页方法的，一般都需要靠分析页面结构来获取下一页的请求链接或者分析URL链接的规律来进行翻页的

Answer 4

推荐大家使用下神箭手云爬虫，完全在云上编写和执行爬虫，不需要配置任何开发环境，快速开发快速实现。
 

简单几行 javascript 就可以实现复杂的爬虫，同时提供很多功能函数：反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等，这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。