java webmagic爬虫在原网页获取的网页中又出现需要翻页，怎么获取翻页的内容？

Question

从初始网页获取到的网页内容中，又包含翻页内容，怎么获取这个地址内容？

比如每个网页的评论内容，是嵌套一个爬虫？

Answer 1

把要继续获取的url再添加了？

Answer 2

回复
是的。

Answer 3

直接添加好像不能实现。我对上一个页面加了限制条件，并且同步存储到文件和数据库中，直接加上，会被过滤掉。

Answer 4

解析出地址url，然后调用

page.addTargetRequest(url);

批量地址可以

page.addTargetRequests(urls);

爬虫就会自动继续爬取后续的url对应的页面了。