如何让在队列中等待的线程退出？

Question

我的应用程序中有两个线程。一个将值放入 Queue 中，另一个则拉取将它们从队列中取出并进行处理。

关闭应用程序时我面临着两难的境地。处理 Queue 中项目的线程被卡住：

item = request_queue.get() # this call blocks until an item is available

唯一终止线程的事情是如果另一个项目被添加到 Queue 中 - 并且因为主线程不这样做不添加任何内容（因为它正在关闭），应用程序将锁定。

那么...即使 Queue 上没有任何内容，我如何指示 Queue.get() 以某种方式返回？

Answer 1

事实证明答案非常简单。选择一个对于处理Queue 的代码无效的值（None 是理想的选择）并将其推入Queue。然后让 Queue 处理线程在获取值时退出：

while True:

    item = request_queue.get()

    if item is None:
        break

    # process the Queue as per normal...

Answer 2

由于阻塞线程不是主线程，您还可以设置.daemon = True。

import time
import threading
from Queue import Queue

def getter(q):
    while True:
        print 'getting...'
        print q.get(), 'gotten'

def putter(q):
    for i in range(10):
        time.sleep(0.5)
        q.put(i)
        time.sleep(0.5)

q = Queue()
get_thread = threading.Thread(target=getter, args=(q,))
get_thread.daemon = True
get_thread.start()

putter(q)

Answer 3

如果在主线程中调用 Queue.get() ，此问题仍然可能发生 - 因此 setDaemon(True) 答案不是通用解决方案。

例如，这个脚本不能用 Ctrl-C 停止，

#!/usr/bin/python
import Queue

theQ = Queue.Queue()
print "one thread getting from Queue"
print theQ.get()

而不是在 Queue.get() 上设置超时并处理异常，一个简单的解决方案是执行等待循环，直到有东西出现。可以使用 Ctrl-C 杀死该脚本

#!/usr/bin/python
import Queue
theQ = Queue.Queue()
print "one thread getting from Queue"
while theQ.empty():
    time.sleep(0.01) # or whatever value is appropriate for your event arrivals
print theQ.get()

Answer 4

您可以检查队列大小并在退出队列之前等待特定时间，以便您知道退出时没有添加更多数据项。

last_obj_time = time.time()
while True:
    if request_queue.qsize() > 0:
        item = request_queue.get()
        last_obj_time = time.time()

    elif time.time() - last_obj_time > 10:
        break