pyspider processor:202 和tornado_fetcher:212 异常报错是什么原因？应该怎么解决？

Question

问题描述

pyspider 项目比较多的时候 总是卡在那里 不能自动运行任务

问题出现的环境背景及自己尝试过哪些方法

添加多个processor fetcher也不行额
把run.py文件里面的all 装饰器里面的默认fetcher processor result_worker都调了10个--！！

这里里面的数字应该怎么解读？

求大神指导下，已经困扰我很久了。。。。

Answer 1

任务和阻塞个数

Answer 2

我也遇到类似问题，不知道如何处理，同求答案

[I 181119 10:35:00 processor:202] process i_snssdk_com:ecfe7de394e1734fab9074fba517023c https://www.toutiao.com/i6623... -> [200] len:28508 -> result:{'arc': {' fol:0 msg:0 err:None
[I 181119 10:37:29 processor:202] process i_snssdk_com:266344b683700cb638ca9ac7d1337fc4 https://i.snssdk.com/api/feed... -> [200] len:157158 -> result:<generator fol:20 msg:0 err:None
[I 181119 10:37:30 processor:202] process i_snssdk_com:373956fb8fbc6ca5284c70f53ad6fd8a https://www.toutiao.com/i6624... -> [200] len:13457 -> result:{'arc': {' fol:0 msg:0 err:None
[I 181119 10:38:55 processor:202] process i_snssdk_com:49e315bc651561ff6debd70d82a6dcc6 https://i.snssdk.com/api/feed... -> [200] len:172489 -> result:<generator fol:10 msg:0 err:None
[I 181119 10:39:16 processor:202] process i_snssdk_com:ad9a22374422522ffa7ca3860ff92edc https://i.snssdk.com/api/feed... -> [200] len:168314 -> result:<generator fol:2 msg:0 err:None
[I 181119 10:39:16 processor:202] process i_snssdk_com:d740f0fd599be0ca6b59998877840d9f https://www.toutiao.com/i6624... -> [200] len:26865 -> result:{'arc': {' fol:0 msg:0 err:None
[I 181119 10:41:36 processor:202] process i_snssdk_com:deb20e86e0e3b6b27e49ce3190a97ee8 https://i.snssdk.com/api/feed... -> [200] len:219209 -> result:<generator fol:20 msg:0 err:None
[I 181119 10:41:36 processor:202] process i_snssdk_com:59f69cc54069d1cae7da19d3d531e115 https://www.toutiao.com/i6624... -> [200] len:29478 -> result:{'arc': {' fol:0 msg:0 err:None
[I 181119 10:54:45 processor:202] process i_snssdk_com:a376c0a9fce81642d7c156d5eb68e15c https://i.snssdk.com/api/feed... -> [200] len:234305 -> result:<generator fol:18 msg:0 err:None