你好 我想请问一下 用Webmagic 如何爬取”<a href="javascript: void (0);" onclick="loadPage(this)" categoryid="0"></a> 里面数据？

Question

@黄亿华 你好，想跟你请教个问题：

Answer 1

你这个请求用到了js，如果不考虑效率的话，你可以看一下Webmaigc和 selenium 的结合。通过模拟点击访问下一页。或者你得研究下 loadPage这个方法里的逻辑，如果这个方法里有url，那你可以通过正则之类的方式去把这个url提取出来，如果这个函数里边还要调用其他方法，通过字符串拼接之类的生成url，那你就得模仿他的逻辑去搞了。