pyspider 效率 受 taskdb 影响?

Question

pyspider 出现任务启动慢,有 pending 却没有下载的情况,还有的情况是 出现 process_timeout 的 exception, 换台机器同样的代码不会出现相同的问题.我检查了一下目录,发现 taskdb 已经 800M+, 会不会是这个导致上述问题出现?

Answer 1

processor 是不会读取 taskdb 的。
看一下 dashboard 最上方的的队列统计，看看哪个组件有瓶颈，增加对应组件部署量。