Pyspider 单步调试没有问题,启动运行的时候只抓取了几个页面
刚开始使用pyspider,因为抓取页面是用javascript动态生成的,比较了一下scrapy和pyspider,因为pyspider支持phantomjs,便选择了phantomjs.
抓取的页面
抓取的最后一个页面task信息
从task中可以看到
track.process
{
"exception":null,
"follows":1,
"logs":"The first page has 0 resumes ",
"ok":true,
"result":null,
"time":0.004739999771118164
}
process
{
"callback": "search_first_page"
}
可是看样子search_first_page却没有被执行,我在单步调试的时候search_first_page可以正常执行。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论