如何限制 Parallel.ForEach？

Question

我有一个 Parallel.ForEach() 异步循环，我用它下载一些网页。我的带宽有限，因此我每次只能下载 x 个页面，但 Parallel.ForEach 会执行所需网页的整个列表。

有没有办法在运行 Parallel.ForEach 时限制线程数或任何其他限制器？

演示代码：

Parallel.ForEach(listOfWebpages, webpage => {
  Download(webpage);
});

真正的任务与网页无关，因此创造性的网络爬行解决方案无济于事。

Answer 1

您可以在 ParallelOptions 参数中指定 MaxDegreeOfParallelism：

Parallel.ForEach(
    listOfWebpages,
    new ParallelOptions { MaxDegreeOfParallelism = 4 },
    webpage => { Download(webpage); }
);

MSDN：Parallel.ForEach

MSDN：ParallelOptions.MaxDegreeOfParallelism

Answer 2

您可以使用 ParallelOptions 并设置 MaxDegreeOfParallelism 来限制并发线程数：

Parallel.ForEach(
    listOfwebpages, 
    new ParallelOptions{MaxDegreeOfParallelism=2}, 
    webpage => {Download(webpage);});     

Answer 3

使用 Parallel.Foreach 的另一个重载，它采用 ParallelOptions 实例，并设置 MaxDegreeOfParallelism 以限制并行执行的实例数量。

Answer 4

对于 VB.net 用户（语法很奇怪并且很难找到）...

Parallel.ForEach(listOfWebpages, New ParallelOptions() With {.MaxDegreeOfParallelism = 8}, Sub(webpage)
......end sub)  

Answer 5

我认为更动态和现实的方法是通过处理器数量来限制它，这样在每个系统上它都会正常运行：

var options = new ParallelOptions { MaxDegreeOfParallelism = Environment.ProcessorCount };
Parallel.ForEach(myList, options, iter => { });

perhpas yu 会乘以 Environment.ProcessorCount 或除以它以施加或承受更大的压力从CPU