Java生产者/消费者，检测处理结束

Question

我正在准备一个应用程序，其中单个生产者生成数百万个任务，然后由可配置数量的消费者处理。从生产者到消费者的通信（可能）将是基于队列的。

从运行生产者/生成任务的线程中，我可以使用什么方法来等待所有任务的完成？我不想恢复任何定期轮询来查看我的任务队列是否为空。无论如何，任务队列为空实际上并不能保证最后的任务已经完成。这些任务可能运行时间相对较长，因此队列很可能是空的，而消费者线程仍在愉快地处理。

Rgds，马丁

Answer 1

您可能想查看 java.util.concurrent 包。

• ExecutorService
• 执行器
• Future

执行器框架已经提供了执行的方法通过线程池执行任务。 Future 抽象允许等待任务完成。

将两者放在一起可以让您轻松协调执行，解耦任务、活动（线程）和结果。

示例：

    ExecutorService executorService = Executors.newFixedThreadPool(16);

    List<Callable<Void>> tasks = null;
    //TODO: fill tasks;

    //dispatch 
    List<Future<Void>> results =  executorService.invokeAll(tasks);

    //Wait until all tasks have completed
    for(Future<Void> result: results){
        result.get();
    }

编辑：使用 CountDownLatch 的替代版本

    ExecutorService executorService = Executors.newFixedThreadPool(16);

    final CountDownLatch latch;

    List<Callable<Void>> tasks = null;
    //TODO: fill tasks;

    latch = new CountDownLatch(tasks.size());

    //dispatch 
    executorService.invokeAll(tasks);

    //Wait until all tasks have completed
    latch.await();

在您的任务中：

    Callable<Void> task = new Callable<Void>()
    {

        @Override
        public Void call() throws Exception
        {
            // TODO: do your stuff

            latch.countDown(); //<---- important part
            return null;
        }
    };

Answer 2

您想知道每个任务完成的位置。我会有另一个已完成的任务报告队列。 （每个任务一个对象/消息）当此计数达到您创建的任务数时，它们已全部完成。该任务报告还可以包含该任务的任何错误和时间信息。

Answer 3

您可以让每个消费者在出队时检查队列是否为空，如果是，则脉冲主线程正在等待的 condvar（或监视器，因为我相信这就是 Java 所拥有的）。

让线程检查全局布尔变量（标记为易失性）是让线程知道它们应该停止的一种方法。

Answer 4

您可以对每个线程使用 join() 方法..这样，直到所有线程都完成后，您的主线程才会结束！通过这种方式，您实际上可以找出所有线程是否已完成！