将 scrapy 项目部署到 scrapyd 时 HTTPCACHE 不起作用
当我尝试将 HTTPCACHE 与 scrapyd 一起使用时，出现以下错误：
[scrapy] 警告：已禁用 Httpcache Middlware：无法找到 scrapy.cfg 文件来推断项目数据目录
When I try to use HTTPCACHE with scrapyd I get the following error:
[scrapy] WARNING: Disabled Httpcache Middlware: unable to find scrapy.cfg file to infer project data dir
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
问题是http缓存默认使用相对路径
httpcache。当您从命令行正常运行蜘蛛时，这会起作用，但当将其作为服务运行时，则不起作用。
解决方案是设置
HTTPCACHE_DIR[docs]设置为绝对路径。The problem is that http caching defaults to using the relative path
httpcache.This works when you run the spider normally from the command line, but not when running it as a service.
The solution is to set the
HTTPCACHE_DIR[docs] setting to an absolute path.