NodeJs如何爬取动态网页？

Question

我想去爬一些电商网站，里面有很多图片的。现在用的是cheerio，我发现它不能获得页面中通过懒加载的图片，也就是通过js处理生成的图片。有什么办法或者别的库可以实现这种功能？

Answer 1

推荐谷歌团队自己研发的操控chrome无头浏览器的接口puppeteer

Answer 2

只能自己分析网页的js来获取，或者用chrome的无头模式，运行一个真正的浏览器来爬

Answer 3

一般懒加载图片的url应该是保存在img标签中的，比如data-src之类的，你查看一下那些图片的属性。
如果不行的话，就用 phantomjs 。

Answer 4

爬页面最好的方式还是爬接口，分析接口调用方式，入参，cookie。