在 Parallel.ForEach 中使用哈希表？

Question

我有一个 Parallel.ForEach 循环在体内运行密集操作。

该操作可以使用哈希表来存储值，并且可以重用于其他连续的循环项。我在密集操作完成后添加到Hashtable中，下一个循环项可以在Hashtable中查找并​​重用该对象，而不用再次运行密集操作。

但是，因为我使用 Parallel.ForEach 存在不安全问题，导致 Hashtable.Add 和 ContainsKey(key) 调用不同步，因为它们可能并行运行。引入锁可能会导致性能问题。

下面是示例代码：

Hashtable myTable = new Hashtable;
Parallel.ForEach(items, (item, loopState) =>
{
    // If exists in myTable use it, else add to hashtable
    if(myTable.ContainsKey(item.Key))
    {
       myObj = myTable[item.Key];
    }
    else
    {
       myObj = SomeIntensiveOperation();
       myTable.Add(item.Key, myObj); // Issue is here : breaks with exc during runtime
    }
    // Do something with myObj
    // some code here
}

TPL 库中必须有一些 API、属性设置可以处理这种情况。有没有？

Answer 1

您正在寻找 System.Collections.Concurrent。 ConcurrentDictionary。新的并发集合使用显着改进的锁定机制，并且应该在并行算法中表现出色。

编辑：结果可能如下所示：

ConcurrentDictionary<T,K> cache = ...;
Parallel.ForEach(items, (item, loopState) =>
{
    K value;
    if (!cache.TryGetValue(item.Key, out value))
    {
        value = SomeIntensiveOperation();
        cache.TryAdd(item.Key, value);
    }

    // Do something with value
} );

警告：如果items中的元素并非全部具有唯一的item.Key，则< code>SomeIntentialOperation 可能会对该键调用两次。在示例中，密钥未传递给 SomeIntectiveOperation，但这意味着“Do Something with value”代码可以执行 key/valueA 和 key/valueB 对，并且只会存储一个结果在缓存中（也不一定是由 SomeIntectiveOperation 计算的第一个）。如果这是一个问题，您需要一个并行的惰性工厂来处理这个问题。另外，出于显而易见的原因，SomeIntectiveOperation 应该是线程安全的。

Answer 2

检查 System.Collections.Concurrent 命名空间我认为您需要 ConcurrentDictionary

Answer 3

使用 ReaderWriterLock，这对于持续时间短、读取次数多、写入次数少的工作具有良好的性能。您的问题似乎符合此规范。

所有读取操作都将快速运行并且无锁，唯一会被阻止的时间是发生写入时，并且该写入仅与将某些内容推入哈希表所需的时间相同。

MSDN 上的 ReaderWriterLockSlim

我想我会扔掉一些代码...

ReaderWriterLockSlim cacheLock = new ReaderWriterLockSlim();
Hashtable myTable = new Hashtable();
Parallel.ForEach(items, (item, loopState) =>
{
    cacheLock.EnterReadLock();
    MyObject myObj = myTable.TryGet(item.Key);
    cacheLock.ExitReadLock();

    // If the object isn't cached, calculate it and cache it
    if(myObj == null)
    {
       myObj = SomeIntensiveOperation();
       cacheLock.EnterWriteLock();
       try
       {
           myTable.Add(item.Key, myObj);
       }
       finally
       {
           cacheLock.ExitWriteLock();
       }           
    }
    // Do something with myObj
    // some code here
}

static object TryGet(this Hashtable table, object key)
{
    if(table.Contains(key))
        return table[key]
    else
        return null;
}

Answer 4

我认为除了使用（或多或少明确的）锁（同步哈希表只是覆盖所有带锁的方法）之外，没有其他正确的选择。

另一种选择是允许字典不同步。竞争条件不会破坏字典，它只需要代码做一些多余的计算。分析代码以检查锁定或丢失记忆是否会产生更糟糕的影响。