用WebMagic获取js中的数据

Question

当WebMagic爬取页面时，可以根据html结构，利用匹配表达式获取想要的数据，比如某个标签下的链接。

但是，问题来了。如果该html页面将该链接放在js代码块中，并且在其中嵌套js的变量。那么我该怎么获取该链接呢？

谢谢~~~~

Answer 1

分析页面，如果是嵌套了 js 的变量，一般是使用 ajax。这种情况下，你可以点击一下这个链接，然后借助浏览器，分析请求，如谷歌浏览器，在 network 面板可以知道一个请求的路径与及相对应的参数，接着通过代码模拟这个请求即可。

webmagic 提供了一个官方教程，按照教程走一遍，基本问题都可以解决了。http://webmagic.io/docs/zh/posts/chx-cases/js-render-page.html

个人理解，是无法直接通过代码发现 js 函数的，这个需要自己借助工具分析。