如何使用当前线程处理工作队列？

Question

我使用什么数据结构来实现以下逻辑？

1. read() 是一种对某些工作负载进行排队的异步方法，
2. 一次只能运行一个工作负载。
3. 第一个对工作负载进行排队的线程成为工作线程。它在返回之前处理队列上的所有工作。下一个调用 read() 的线程将成为新的工作线程，依此类推...
4. 如果其他线程在工作线程处理队列时调用 read()，它们只需添加到队列末尾并立即返回。

我知道如何使用 ConcurrentLinkedQueue 和 AtomicBoolean 来实现这一点，但我感觉有更好的方法。

澄清：工作负载由调用另一个名为 read2() 的异步方法组成。 read2() 是异步的，但不是线程安全的。当我说工作线程“处理工作负载”时，它只是触发第一个读取操作并立即返回。当 read2() 完成时，它会调用队列上的下一个操作，依此类推。整个 API 是异步的。因此，我想避免使用专用的消费者线程（没有真正的需要，而且它不利于可扩展性）。

Answer 1

由于检测处理队列项的线程的确切状态是否存在不确定性，我建议每个线程，无论是用户线程还是某个触发异步回调的内核线程，到达该系统时都会将其工作负载排队，然后尝试处理队列中的所有项目。如果某些工作负载请求发出非线程安全调用，则仅使用 CS/spinner 保护此调用 - 您说这些非线程安全调用无论如何都很简短，因此 CS/spin 锁的成本非常低。

转储 AtomicBoolean。虽然发现它清晰确实意味着没有线程正在处理队列中的工作负载，但发现它已设置并不意味着线程正在处理队列中的项目：存在第三种状态 - '已完成队列中的项目但尚未完全解决还没有清除布尔值'。

平均值，
马丁

Answer 2

我认为你的设计可能会破坏软件工程中的一些重要规则，但我现在记不起它的名字了。理想情况下，您应该让一个类负责一件事，因此要求类根据外部状态更改其负责的内容会给您带来一些麻烦。

我建议您采用 生产者/消费者模式 考虑在内。您的生产者线程会将工作添加到队列中，而消费者线程将处理该工作。这确保了生产者线程不必关心何时负责从队列中获取工作以及何时负责将工作放入队列，它们所关心的只是将工作放入队列。您的消费者线程将致力于从队列中获取工作并执行它，这就是它要做的全部事情！

根据您的评论进行更新：制作人不必专心致志，您所做的就是让您的读取回调将工作项排入队列（我认为它类似于回调，但如果我'，请纠正我）我错了）。又是这样：

private static BlockingQueue q;
// Asynchronous callback
public void read()
{
    q.enqueue(new WorkItem());
}

消费者可能必须是专用的，但从概念上讲，专用消费者和让多个生产者扮演消费者的独占角色之间几乎没有什么区别：

public class Consumer imlpements Runnable {
    private BlockingQueue _queue;
    public Consumer(BlockingQueue q){
        _queue = q;
    }

    public void run(){
        while(true){
            // block on dequeue until there is work in the queue (i.e. never exits the loop)
            WorkItem w = _queue.dequeue();
            w.DoWork();
        }
    }
}

现在您可以运行 both Consumer 和 Producer(s) 位于线程池 (ExecutorService) 中，它将完全按照您的要求执行操作。请注意，我没有包含线程安全的所有附加功能，例如捕获中断异常和优雅终止，但这是您可以（并且应该）添加的内容。

Answer 3

简单地使 read 成为 synchronized 方法怎么样？

您只需直接调用read，而不是将工作负载（“调用read”）放入同步队列中。您的线程可能需要等待一段时间才能获得同步锁，但正如您所说的 read 执行得非常快，所以这应该不是问题。

（我还不是 100% 确定我理解你的问题，但我认为我理解的是：所有 read 所做的就是在新线程上启动方法 read2 。但是似乎 read 存在一些线程安全问题，因为您不希望（出于无法解释的原因）许多 read 并行执行。）

编辑：我意识到我不知道是否read 是单个共享对象的方法、静态方法或者它存在于许多对象中。如果是后者，仅仅使方法同步并没有多大作用；您需要在调用 read 之前或在 内获得一些全局锁（可能是包含 read 的 类 上的锁）阅读。