pyspider爬取分页数据，setInterval模拟下一页点击事件无效

Question

爬的这个网页分页切换url不变，我就模拟了下一页按钮的点击事件，我在控制台里试了这句跳到下一页的代码$('.pager_next').click()是可以正常加载下一页数据的，但是我在用pyspider爬取过程中下面这样写就只爬到了第一页的数据，setInterval没起作用？求解

def on_start(self):
        self.crawl('https://www.lagou.com/gongsi/',  js_script="""function(){setInterval("$('.pager_next').click()", 1000);}""", callback=self.phantomjs_parser, validate_cert=False)

Answer 1

拿到按钮下一页的url，再发一次请求。

Answer 2

其实可以直接去找出下一页请求的接口，然后模拟请求就可以，不需要用phantomjs，毕竟会有phantomjs假死的问题。