您使用并行扩展吗？

Question

我希望这不是对 stackoverflow 的滥用；最近我在这里看到了一些关于并行扩展的好问题，这引起了我的兴趣。

我的问题： 您是否使用并行扩展？如果使用，如何使用？

我叫 Stephen Toub，是 Microsoft 并行计算平台团队的成员。我们是负责并行扩展的小组。我总是有兴趣了解开发人员如何利用并行扩展（例如 Parallel.For、PLINQ、ConcurrentDictionary 等）、您的积极经验、您的消极经验、对未来的功能请求等等上。
如果您愿意分享此类信息，请在此处作为对此问题的答复，或者通过 stoub at microsoft dot com 私下发送电子邮件给我。

我非常期待您的来信。

提前致谢！

Answer 1

我正在使用 TPL 进行嵌套的 Parallel.ForEach 调用。因为我通过这些调用访问字典，所以我必须使用 ConcurrentDictionary。虽然它很好，但我有一些问题：

• ForEach 内部的委托没有做太多工作，所以我没有得到太多并行性。系统似乎大部分时间都花在连接线程上。如果有一种方法可以找出为什么它没有获得更好的并发性并对其进行改进，那就太好了。

• 内部 ForEach 迭代是在 ConcurrentDictionary 实例上进行的，如果我没有添加枚举器缓存，这将导致系统将大量时间花费在字典的枚举器上.

• 我的许多 ConcurrentDictionary 实例实际上都是集合，但没有 ConcurrentSet 因此我必须使用 ConcurrentDictionary 实现我自己的实例。< /p>

• ConcurrentDictionary 不支持对象初始化语法，所以我不能说 var dict = new ConcurrentDictionary; { { 'A', 65 } }; 这也意味着我无法将 ConcurrentDictionary 文字分配给类成员。

• 在某些地方，我必须在 ConcurrentDictionary 中查找键，并调用一个昂贵的函数来创建一个值（如果它不存在）。如果有一个采用 addValueFactory 的 GetOrAdd 重载，这样只有在键不存在时才可以计算该值，那就太好了。这可以使用 .AddOrUpdate(key, addValueFactory, (k, v) => v) 进行模拟，但这会增加每次查找的额外委托调用的开销。

Answer 2

我还没有广泛使用它，但我肯定会密切关注它的用途，并在我们的代码库中寻找机会使用它（不幸的是，我们的许多项目仍然受 .NET-2.0 约束）暂且）。我自己想出的一个小宝石是一个独特的单词计数器。我认为这是我能想到的最快、最简洁的实现 - 如果有人可以做得更好，那就太棒了：

private static readonly char[] delimiters = { ' ', '.', ',', ';', '\'', '-', ':', '!', '?', '(', ')', '<', '>', '=', '*', '/', '[', ']', '{', '}', '\\', '"', '\r', '\n' };
private static readonly Func<string, string> theWord = Word;
private static readonly Func<IGrouping<string, string>, KeyValuePair<string, int>> theNewWordCount = NewWordCount;
private static readonly Func<KeyValuePair<string, int>, int> theCount = Count;

private static void Main(string[] args)
{
    foreach (var wordCount in File.ReadAllText(args.Length > 0 ? args[0] : @"C:\DEV\CountUniqueWords\CountUniqueWords\Program.cs")
        .Split(delimiters, StringSplitOptions.RemoveEmptyEntries)
        .AsParallel()
        .GroupBy(theWord, StringComparer.OrdinalIgnoreCase)
        .Select(theNewWordCount)
        .OrderByDescending(theCount))
    {
        Console.WriteLine(
            "Word: \""
            + wordCount.Key
            + "\" Count: "
            + wordCount.Value);
    }

    Console.ReadLine();
}

private static string Word(string word)
{
    return word;
}

private static KeyValuePair<string, int> NewWordCount(IGrouping<string, string> wordCount)
{
    return new KeyValuePair<string, int>(
        wordCount.Key,
        wordCount.Count());
}

private static int Count(KeyValuePair<string, int> wordCount)
{
    return wordCount.Value;
}

Answer 3

我一直在我的项目 MetaSharp 上使用它。我有一个基于 MSBuild 的 DSL 编译管道，一个阶段类型是多对多阶段。 M:M 阶段使用.AsParallel.ForAll(...)。

这是片段：

protected sealed override IEnumerable<IContext> Process()
{
    if (this.Input.Count() > 1)
    {
        this.Input
            .AsParallel<IContext>()
            .ForAll(this.Process);
    }
    else if (this.Input.Any())
    {
        this.Process(this.Input.Single());
    }

    return this.Input.ToArray();
}

Answer 4

我们并没有广泛使用它，但它确实派上了用场。

通过将一些更耗时的步骤包装在 Parallel.Invoke() 打电话。

我也喜欢使用并行库来测试线程安全性。我发现并报告了 Ninject 的几个线程问题，代码如下：

var repositoryTypes = from a in CoreAssemblies
                    from t in a.GetTypes()
                    where t.Name.EndsWith("Repository")
                    select t;
repositoryTypes.ToList().AsParallel().ForAll(
    repositoryType => _kernel.Get(repositoryType));

在我们的实际生产代码中，我们使用一些并行扩展来运行一些集成操作，这些操作应该每隔几分钟运行一次，其中主要包括拉取来自网络服务的数据。由于网络连接固有的高延迟，这利用了并行性的特殊优势，并允许我们的作业在再次启动之前完成运行。

Answer 5

我正在使用一个存储超过 1 亿个项目的 ConcurrentDictionary。我的应用程序当时使用了大约 8 GB 内存。然后，ConcurrentDictionary 决定要在另一个 Add 上增长。当内存不足时，它显然想要增长很多（一些内部原始算法）。这是在具有 32GB 内存的 x64 上。

因此，我想要一个布尔值来阻止（并发）字典的自动重新增长/重新散列。然后，我将在创建时使用一组固定的存储桶初始化字典（这与固定容量不同！）。随着时间的推移，随着桶中的物品越来越多，它会变得有点慢。但这可以防止过快和不必要的重新哈希和内存溢出。