C# - 将数据从 ThreadPool 线程传递回主线程

Question

当前实现：等待直到收集了parallelCount值，使用ThreadPool处理这些值，等待所有线程完成，重新收集另一组值等等...

代码：

private static int parallelCount = 5;
private int taskIndex;
private object[] paramObjects;

// Each ThreadPool thread should access only one item of the array, 
// release object when done, to be used by another thread
private object[] reusableObjects = new object[parallelCount];     

private void MultiThreadedGenerate(object paramObject)
{
    paramObjects[taskIndex] = paramObject;
    taskIndex++;

    if (taskIndex == parallelCount)
    { 
        MultiThreadedGenerate();

        // Reset
        taskIndex = 0;
    }
}

/*
 * Called when 'paramObjects' array gets filled
 */
private void MultiThreadedGenerate()
{
    int remainingToGenerate = paramObjects.Count;

    resetEvent.Reset();

    for (int i = 0; i < paramObjects.Count; i++)
    {
        ThreadPool.QueueUserWorkItem(delegate(object obj)
        {
            try
            {
                int currentIndex = (int) obj;       

                Generate(currentIndex, paramObjects[currentIndex], reusableObjects[currentIndex]);
            }
            finally
            {
                if (Interlocked.Decrement(ref remainingToGenerate) == 0)
                {
                    resetEvent.Set();
                }
            }
        }, i);
    }

    resetEvent.WaitOne();    
}

我已经看到这种方法显着提高了性能，但是有许多问题需要考虑：

[1] 收集 paramObjects 中的值并使用 resetEvent 进行同步可以避免，因为线程之间（或当前的值集与下一组值）之间不存在依赖关系。我这样做只是为了管理对 reusableObjects 的访问（当一组 paramObjects 完成处理时，我知道 reusableObjects 中的所有对象都是免费的，因此 taskIndex< /code> 被重置，下一组值的每个新任务将有其唯一的“reusableObj”来使用）。

[2] reusableObjects 的大小和 ThreadPool 使用的线程数之间没有真正的联系。我可能会将 reusableObjects 初始化为具有 10 个对象，并且由于某些限制，ThreadPool 只能为我的 MultiThreadedGenerate() 方法运行 3 个线程，那么我就浪费了内存。

因此，通过摆脱 paramObjects，如何才能以一种方式改进上述代码，以便一旦一个线程完成其工作，该线程就返回其 taskIndex（或 < code>reusableObj) 它已使用且不再需要，以便它可用于下一个值。此外，代码应该创建一个 reUsableObject 并仅在需要时将其添加到某个集合中。在这里使用队列是个好主意吗？

谢谢。

Answer 1

确实没有理由再进行自己的手动线程和任务管理。您可以使用任务并行库将其重组为更松散耦合的模型（可能还有 System.Collections.Concurrent 用于结果整理）。

如果您不需要等待全部工作完成后再移交每个 Task 进行处理，则性能可以进一步提高。

TPL 出现在 .Net 4.0 中，但 向后移植到 .Net 3.5。在此处下载。