像 .NET 的 ConcurrentBag 这样的类如何实现？得到实施？

Question

我发现自己对 的存在非常感兴趣即将推出的 .NET 4.0 框架中的 ConcurrentBag 类：

当顺序无关紧要时，袋子对于存储物品非常有用，并且与套装不同，袋子支持重复。

我的问题是：这个想法如何实施？我熟悉的大多数集合本质上相当于（在幕后）某种形式的数组，其中顺序可能并不“重要”，但有一个顺序（这就是为什么，即使它不不需要，枚举几乎总是会经历一个未更改的集合，无论是 List、Queue、Stack 等。顺序）。

如果我必须猜测，我可能会建议在内部它可能是一个 Dictionary>；但这实际上似乎很可疑，因为仅使用任何类型T作为键是没有意义的。

我所期待/希望的是，这实际上是一个已经在某个地方“弄清楚”的已建立的对象类型，并且了解该已建立类型的人可以告诉我它。这对我来说太不寻常了——这些概念在现实生活中很容易理解，但作为开发人员很难转化为可用的类——这就是为什么我对可能性感到好奇。

编辑：

一些响应者建议 Bag 内部可能是哈希表的一种形式。这也是我最初的想法，但我预见到了这个想法的两个问题：

1. 当您没有适合相关类型的哈希码函数时，哈希表并不是那么有用。
2. 简单地跟踪集合中对象的“计数”与存储对象不同。

正如 Meta-Knight 所建议的，也许一个例子会让这一点更清楚：

public class ExpensiveObject() {
    private ExpensiveObject() {
        // very intense operations happening in here
    }

    public ExpensiveObject CreateExpensiveObject() {
        return new ExpensiveObject();
    }
}

static void Main() {
    var expensiveObjects = new ConcurrentBag<ExpensiveObject>();

    for (int i = 0; i < 5; i++) {
        expensiveObjects.Add(ExpensiveObject.CreateExpensiveObject());
    }

    // after this point in the code, I want to believe I have 5 new
    // expensive objects in my collection

    while (expensiveObjects.Count > 0) {
        ExpensiveObject expObj = null;
        bool objectTaken = expensiveObjects.TryTake(out expObj);
        if (objectTaken) {
            // here I THINK I am queueing a particular operation to be
            // executed on 5 separate threads for 5 separate objects,
            // but if ConcurrentBag is a hashtable then I've just received
            // the object 5 times and so I am working on the same object
            // from 5 threads at the same time!
            ThreadPool.QueueUserWorkItem(DoWorkOnExpensiveObject, expObj);
        } else {
            break;
        }
    }
}

static void DoWorkOnExpensiveObject(object obj) {
    ExpensiveObject expObj = obj as ExpensiveObject;
    if (expObj != null) {
        // some work to be done
    }
}

Answer 1

如果您查看 ConcurrentBag 的详细信息，您会发现它在内部基本上是一个自定义的链表。

由于 Bags 可以包含重复项，并且无法通过索引访问，因此双向链表是一个非常好的实现选项。这允许对插入和删除进行相当细粒度的锁定（您不必锁定整个集合，只需锁定插入/删除位置周围的节点）。由于您不担心重复，因此不涉及散列。这使得双链表变得完美。

Answer 2

这里有一些关于 ConcurrentBag 的好信息： http://geekswithblogs.net/BlackRabbitCoder/archive/2011/03/03/c.net-little-wonders-concurrentbag-and-blockingcollection.aspx

ConcurrentBag 的工作方式
是要利用新的
ThreadLocal 类型（新增于
System.Threading for .NET 4.0）以便
使用该包的每个线程都有一个列表
仅该线程本地。

这意味着添加或删除
线程本地列表要求非常低
同步。问题就来了
线程去哪里消费一个项目
但它的本地列表是空的。在这个
案例包执行“工作盗窃”
它将从另一个地方抢走一个物品
其列表中有项目的线程。
这需要更高的水平
同步增加了一点
take 操作的开销。

Answer 3

由于顺序并不重要，ConcurrentBag 可以在幕后使用哈希表来快速检索数据。但与哈希集不同，包接受重复项。也许每个项目都可以与 Count 属性配对，添加项目时该属性设置为 1。如果您第二次添加相同的项目，则只需增加该项目的 Count 属性即可。

然后，要删除计数大于 1 的项目，您只需减少该项目的计数即可。如果计数为 1，您将从哈希表中删除项目计数对。

Answer 4

好吧，在 Smalltalk（Bag 概念的由来）中，集合基本上与哈希相同，尽管它允许重复。但它不存储重复的对象，而是维护“出现计数”，例如每个对象的引用计数。如果 ConcurrentBag 是一个忠实的实现，这应该为您提供一个起点。

Answer 5

我相信“Bag”的概念与“Multiset”同义。

如果您对它们的实现方式感兴趣，有许多“Bag”/“Multiset”实现（这些恰好是 java）是开源的。

这些实现表明，“包”可以根据您的需要以多种方式实现。有 TreeMultiset、HashMultiset、LinkedHashMultiset、ConcurrentHashMultiset 的示例。

Google 收藏集
Google 有许多 “MultiSet”实现，其中之一是 ConcurrentHashMultiset。

Apache Commons
Apache 有许多“Bag”实现。

Answer 6

System.Collections.Concurrent 命名空间现已开源，现在可以在此处找到 ConcurrentBag 的实现：

https://github.com/dotnet/runtime/blob/main/src/libraries/System.Collections.Concurrent/src /System/Collections/Concurrent/ConcurrentBag.cs​​

以下是截至 2022 年 1 月 30 日的实现。它已获得 MIT 许可。

    // Licensed to the .NET Foundation under one or more agreements.
// The .NET Foundation licenses this file to you under the MIT license.

using System.Collections.Generic;
using System.Diagnostics;
using System.Diagnostics.CodeAnalysis;

namespace System.Collections.ObjectModel
{
    [Serializable]
    [DebuggerTypeProxy(typeof(CollectionDebugView<>))]
    [DebuggerDisplay("Count = {Count}")]
    [System.Runtime.CompilerServices.TypeForwardedFrom("mscorlib, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e089")]
    public abstract class KeyedCollection<TKey, TItem> : Collection<TItem> where TKey: notnull
    {
        private const int DefaultThreshold = 0;

        private readonly IEqualityComparer<TKey> comparer; // Do not rename (binary serialization)
        private Dictionary<TKey, TItem>? dict; // Do not rename (binary serialization)
        private int keyCount; // Do not rename (binary serialization)
        private readonly int threshold; // Do not rename (binary serialization)

        protected KeyedCollection() : this(null, DefaultThreshold)
        {
        }

        protected KeyedCollection(IEqualityComparer<TKey>? comparer) : this(comparer, DefaultThreshold)
        {
        }

        protected KeyedCollection(IEqualityComparer<TKey>? comparer, int dictionaryCreationThreshold)
            : base(new List<TItem>()) // Be explicit about the use of List<T> so we can foreach over
                                      // Items internally without enumerator allocations.
        {
            if (dictionaryCreationThreshold < -1)
            {
                throw new ArgumentOutOfRangeException(nameof(dictionaryCreationThreshold), SR.ArgumentOutOfRange_InvalidThreshold);
            }

            this.comparer = comparer ?? EqualityComparer<TKey>.Default;
            threshold = dictionaryCreationThreshold == -1 ? int.MaxValue : dictionaryCreationThreshold;
        }

        /// <summary>
        /// Enables the use of foreach internally without allocations using <see cref="List{T}"/>'s struct enumerator.
        /// </summary>
        private new List<TItem> Items
        {
            get
            {
                Debug.Assert(base.Items is List<TItem>);
                return (List<TItem>)base.Items;
            }
        }

        public IEqualityComparer<TKey> Comparer => comparer;

        public TItem this[TKey key]
        {
            get
            {
                TItem item;
                if (TryGetValue(key, out item!))
                {
                    return item;
                }

                throw new KeyNotFoundException(SR.Format(SR.Arg_KeyNotFoundWithKey, key.ToString()));
            }
        }

        public bool Contains(TKey key)
        {
            if (key == null)
            {
                throw new ArgumentNullException(nameof(key));
            }

            if (dict != null)
            {
                return dict.ContainsKey(key);
            }

            foreach (TItem item in Items)
            {
                if (comparer.Equals(GetKeyForItem(item), key))
                {
                    return true;
                }
            }

            return false;
        }

        public bool TryGetValue(TKey key, [MaybeNullWhen(false)] out TItem item)
        {
            if (key == null)
            {
                throw new ArgumentNullException(nameof(key));
            }

            if (dict != null)
            {
                return dict.TryGetValue(key, out item!);
            }

            foreach (TItem itemInItems in Items)
            {
                TKey keyInItems = GetKeyForItem(itemInItems);
                if (keyInItems != null && comparer.Equals(key, keyInItems))
                {
                    item = itemInItems;
                    return true;
                }
            }

            item = default;
            return false;
        }

        private bool ContainsItem(TItem item)
        {
            TKey key;
            if ((dict == null) || ((key = GetKeyForItem(item)) == null))
            {
                return Items.Contains(item);
            }

            TItem itemInDict;
            if (dict.TryGetValue(key, out itemInDict!))
            {
                return EqualityComparer<TItem>.Default.Equals(itemInDict, item);
            }

            return false;
        }

        public bool Remove(TKey key)
        {
            if (key == null)
            {
                throw new ArgumentNullException(nameof(key));
            }

            if (dict != null)
            {
                TItem item;
                return dict.TryGetValue(key, out item!) && Remove(item);
            }

            for (int i = 0; i < Items.Count; i++)
            {
                if (comparer.Equals(GetKeyForItem(Items[i]), key))
                {
                    RemoveItem(i);
                    return true;
                }
            }

            return false;
        }

        protected IDictionary<TKey, TItem>? Dictionary => dict;

        protected void ChangeItemKey(TItem item, TKey newKey)
        {
            if (!ContainsItem(item))
            {
                throw new ArgumentException(SR.Argument_ItemNotExist, nameof(item));
            }

            TKey oldKey = GetKeyForItem(item);
            if (!comparer.Equals(oldKey, newKey))
            {
                if (newKey != null)
                {
                    AddKey(newKey, item);
                }
                if (oldKey != null)
                {
                    RemoveKey(oldKey);
                }
            }
        }

        protected override void ClearItems()
        {
            base.ClearItems();
            dict?.Clear();
            keyCount = 0;
        }

        protected abstract TKey GetKeyForItem(TItem item);

        protected override void InsertItem(int index, TItem item)
        {
            TKey key = GetKeyForItem(item);
            if (key != null)
            {
                AddKey(key, item);
            }

            base.InsertItem(index, item);
        }

        protected override void RemoveItem(int index)
        {
            TKey key = GetKeyForItem(Items[index]);
            if (key != null)
            {
                RemoveKey(key);
            }

            base.RemoveItem(index);
        }

        protected override void SetItem(int index, TItem item)
        {
            TKey newKey = GetKeyForItem(item);
            TKey oldKey = GetKeyForItem(Items[index]);

            if (comparer.Equals(oldKey, newKey))
            {
                if (newKey != null && dict != null)
                {
                    dict[newKey] = item;
                }
            }
            else
            {
                if (newKey != null)
                {
                    AddKey(newKey, item);
                }

                if (oldKey != null)
                {
                    RemoveKey(oldKey);
                }
            }

            base.SetItem(index, item);
        }

        private void AddKey(TKey key, TItem item)
        {
            if (dict != null)
            {
                dict.Add(key, item);
            }
            else if (keyCount == threshold)
            {
                CreateDictionary();
                dict!.Add(key, item);
            }
            else
            {
                if (Contains(key))
                {
                    throw new ArgumentException(SR.Format(SR.Argument_AddingDuplicate, key), nameof(key));
                }

                keyCount++;
            }
        }

        private void CreateDictionary()
        {
            dict = new Dictionary<TKey, TItem>(comparer);
            foreach (TItem item in Items)
            {
                TKey key = GetKeyForItem(item);
                if (key != null)
                {
                    dict.Add(key, item);
                }
            }
        }

        private void RemoveKey(TKey key)
        {
            Debug.Assert(key != null, "key shouldn't be null!");
            if (dict != null)
            {
                dict.Remove(key);
            }
            else
            {
                keyCount--;
            }
        }
    }
}