pyspdier run时运行到on_start就停止 但是单步调试可继续
问题如上,代码如下
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
from pyspider.libs.base_handler import *
class Handler(BaseHandler):
crawl_config = {
}
@every(minutes=24 * 60)
def on_start(self):
self.crawl('https://xxxx.com/listSimilarTopics?id=5577b317e4b00ff508c0e780', callback=self.index_page)
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
for each in response.json['data']:
print(each['content'])
self.crawl('https://xxxcom/showDetail?topicId='+ each['id'], callback=self.detail_page)
self.crawl('https://xxxxcom/istSimilarTopics?id='+ each['id'], callback=self.index_page)
@config(priority=2)
def detail_page(self, response):
for each in response.json['messages']:
return each
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
on_start 里面的地址是否已经抓过了,即使你改了代码,抓过的代码不会重复抓取。
解决方法读文档。
发现是自己没仔细看文档