使用多个有限数量的线程处理项目列表

Question

基本上，我想在多个线程中处理一系列项目，而不是一次处理一个项目。 我只想一次运行有限数量的线程。 这种方法有意义吗？使用全局变量作为线程计数是唯一的选择吗？ （下面是伪代码）

foreach item in list
    while thread_count >= thread_max
        sleep
    loop
    start_thread item
    thread_count++
next

function start_thread(item)
    do_something_to item
    thread_count--
end function

Answer 1

我会为此使用 PLINQ 并指定最大并行度，如下所示：

我实际上正在更改对此的答案，因为我意识到您只想直接处理原始列表，而您不想进行任何其他过滤或映射（位置/选择）。在这种特殊情况下，最好使用 Parallel::ForEach 并通过 ParallelOptions 指定 MaxDegreeOfParallelism，如下所示：

 int myMaxDegreeOfParallelism = 4; // read this from config maybe

 Parallel.ForEach(
    list,
    new ParallelOptions
    {
        MaxDegreeOfParallelism = myMaxDegreeOfParallelism
    }
    item =>
    {
        // ... your work here ...
    });

现在，请记住，当您指定这样的最大值时，您将阻止 PLINQ 使用更多资源，即使它们有空。因此，如果它在 8 核机器上运行，它永远不会使用超过 4 个核。相反，仅仅因为您指定了 4，并不意味着保证 4 在任何给定时间同时执行。这一切都取决于 TPL 用来实现最佳效果的几种启发法。

Answer 2

这是有道理的，但我希望您知道这不是通常的方法，除非您有非常具体的性能原因或停留在 .NET 3.5 上。通常，您会在列表中的元素上使用 Parallel.ForEach ，并依赖于 partitioner 将工作划分为适当的块。

即使您没有 TPL，更惯用的做法是划分所有工作并立即为每个线程分配一大块工作，而不是在线程完成时零碎地分发工作。按照您的方式进行操作的唯一原因是，如果您预计给定工作项所花费的时间或多或少是不可预测的，因此您无法提前很好地划分工作。

（此外，您可以保留对线程的引用并检查有多少线程仍在工作以及有多少线程已完成。这将消除该变量。）