Question

本章讲解了一些复杂的Scrapy管道。到目前为止，我们已经学习了Twisted编程方面所有可能需要的内容，并且知道了如何实现进程、使用Item进程管道等复杂功能。我们通过在延时和吞吐量方面添加更多管道阶段，看到了性能是如何变化的。通常情况下，延时和吞吐量被认为是成反比的，不过这是建立在常数并发的假设下的（例如线程的数例有限）。在我们的例子中，我们从N = S · T = 25 · 0.77 ≌ 19开始，在添加管道后，最终达到N = 25·3.33 ≌ 83，并且没有任何性能问题。这就是Twisted编程的力量！现在我们可以进入第10章，使Scrapy的性能更加完美。