如何管理多线程爬虫中的线程关闭？

Question

假设我正在编写一个多线程网络爬虫。线程从队列中获取作业（例如，以 URL 的形式），执行一些工作，然后可能会向队列添加一些新作业。听起来很简单，但我不确定如何处理所有工作都已完成的情况。假设队列中当前有 0 个作业，并且某个线程正在尝试获取新作业。此时可能有两种情况：

• 一些其他线程正在工作，并且可能实际上为该线程产生新的作业。在这种情况下，可能只是等待新任务（使用阻塞 .pop()，如果队列支持它，或者只是通过不时睡眠和唤醒来检查作业是否可用）
• 所有其他线程也在等待作业。在这种情况下，无法产生新的作业，因此必须终止线程。

我能想到的一个解决方案是有一个整数（在互斥体后面），它应该充当许多“繁忙”线程 - 当线程获得工作时它会增加，并且一旦完成处理它就会减少。这样，如果有 0 个作业和 0 个线程在工作，则可以安全地终止线程。但是，我不确定这是否是最好的解决方案。还有其他选择来处理这种情况吗？