pyspider是否可以在任务途中改变代码?
我在代码中加了
crawl_config = {
"itag" : "v1"
"fetcher": {
"proxy": 'xxxxxxxxxxxxx' ,
}
}
因为用免费proxy的关系, 所以时间一久就会失效, 需转换proxy
我直接将任务状态改变成STOP, 在代码中把 proxy改掉, 再将任务状态改变成DEBUG, 再按run
但是毫无反应啊, 如果将itag改掉, 整个任务会重启
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
推荐的代理使用方法是，架设一个 squid，squid 中热更新配置，更换代理，代码中使用 squid 代理。
方法内的代码可以热更新，类变量不能热更新，你想办法把proxy写到方法里吧。