pyspider爬虫页面包含懒加载lazy-load,获取不到数据

Question

用pyspider获取芒果TV页面中热门综艺栏目内容('div.mg-main ul>li.v-item')，由于页面采用了懒加载模式，所以获取不到具体信息，怎么让页面去加载这部分内容，然后拿到数据呀？

Answer 1

可通过设置self.crawl中的js_viewport_height属性值或者使用js_script解决

Answer 2

js_script 可以解决，window.scrollTo(document.body.scrollWidth, document.body.scrollHeight);