为什么 PLINQ 只使用两个线程？

Question

假设我有一个 IO 密集型任务。我正在使用 WithDegreeOfParallelism = 10 和 WithExecution = ForceParallelism 模式，但查询仍然只使用两个线程。为什么？

我知道 PLINQ 通常会选择等于我的核心数的并行度，但为什么它会忽略我对更高并行度的具体要求？

static void Main(string[] args)
{
    TestParallel(0.UpTo(8));
}

private static void TestParallel(IEnumerable<int> input)
{
    var timer = new Stopwatch();
    timer.Start();
    var size = input.Count();

    if (input.AsParallel().
        WithDegreeOfParallelism(10).
        WithExecutionMode(ParallelExecutionMode.ForceParallelism).
        Where(IsOdd).Count() != size / 2)
        throw new Exception("Failed to count the odds");

    timer.Stop();
    Console.WriteLine("Tested " + size + " numbers in " + timer.Elapsed.TotalSeconds + " seconds");
}

private static bool IsOdd(int n)
{
    Thread.Sleep(1000);
    return n%2 == 1;
}

Answer 1

PLINQ 尝试找到最佳线程数来尽快执行您希望它执行的操作，如果您的 cpu 上只有 2 个核心，该数字很可能是 2。如果您有一个四核，您会更可能会看到 4 个线程出现，但在双核计算机上创建 4 个线程并不会真正提高性能，因为只有 2 个线程可以同时处于活动状态。

此外，对于基于 IO 的操作，任何额外的线程很可能会在执行的第一个 IO 操作上简单地阻塞。

Answer 2

最大 10

设置要使用的并行度
在查询中。并行度为
最大并发数
执行将用于的任务
处理查询。

从这里：

MSDN

Answer 3

看起来 PLINQ 调整了线程数。当我将上面的代码包装在 while(true) 循环中时，前两次迭代运行需要两秒，但第三次及以上只需要一秒。 PLINQ 知道核心处于空闲状态并增加了线程数量。感人的！

Answer 4

我同意 Rory 的观点，但 IO 除外。尚未测试磁盘 IO，但网络 IO 在线程数较多的情况下肯定比 CPU 上的内核更有效。

简单的测试（对每个线程计数运行几次测试会更正确，因为网络速度不是恒定的，但仍然如此）来证明：

    [Test]
    public void TestDownloadThreadsImpactToSpeed()
    {
        var sampleImages = Enumerable.Range(0, 100)
            .Select(x => "url to some quite large file from good server which does not have anti DSS stuff.")
            .ToArray();            

        for (int i = 0; i < 8; i++)
        {
            var start = DateTime.Now;
            var threadCount = (int)Math.Pow(2, i);
            Parallel.For(0, sampleImages.Length - 1, new ParallelOptions {MaxDegreeOfParallelism = threadCount},
                         index =>
                             {
                                 using (var webClient = new WebClient())
                                 {
                                     webClient.DownloadFile(sampleImages[index],
                                                            string.Format(@"c:\test\{0}", index));
                                 }
                             });

            Console.WriteLine("Number of threads: {0}, Seconds: {1}", threadCount, (DateTime.Now - start).TotalSeconds);
        }
    }

使用带有 SSD 的 8 核机器从 CDN 获取 500x500px 图像的结果是：

线程数：1，秒：25.3904522
线程数：2，秒：10.8986233
线程数：4，秒：9.9325681
线程数：8，秒：3.7352137
线程数：16，秒数：3.3071892
线程数：32，秒数：3.1421797
线程数：64，秒：3.1161782
线程数：128，秒数：3.7272132

最后的结果有这样的时间，我认为首先是因为我们只需要下载 100 个图像:)

使用 8-64 个线程的时间差异并不是那么大，但这是在 8 核机器上。如果是 2 核机器（廉价的最终用户笔记本），我认为强制使用 8 线程会比在 8 核机器上强制使用 64 线程产生更大的影响。