Parallel.ForEach 问题

Question

我在 C# / VS2010 中使用 Parallel.ForEach 循环进行处理，我有几个问题。

首先，我有一个进程需要从远程 Web 服务中提取信息，然后需要动态构建图像 (GDI)。

我有一个类，它使用两个主要方法 Load() 和 CreateImage() 将所有功能封装到一个对象中，并将所有 GDI 管理/WebRequests“黑盒化”在该对象内。

然后，我创建一个包含所有需要处理的对象的 GenericList，并使用以下代码迭代该列表：

try
        {
            Parallel.ForEach(MyLGenericList, ParallelOptions, (MyObject, loopState) =>
            {                                       

                    MyObject.DoLoad();
                    MyObject.CreateImage();
                    MyObject.Dispose();

                if (loopState.ShouldExitCurrentIteration || loopState.IsExceptional)
                    loopState.Stop();
            });
        }
        catch (OperationCanceledException ex)
        {
            // Cancel here
        }
        catch (Exception ex)
        {
            throw ex;
        }

现在我的问题是：

1. 鉴于列表中可能有一万个项目需要解析，上面的代码是解决这个问题的最佳方法是什么？任何其他想法都欢迎
2. 我有一个问题，当我开始该过程时，对象被创建/加载并且图像创建得非常快，但在大约六百个对象之后，该过程开始爬行。最终还是没有完成，这正常吗？

提前致谢 ：） 亚当

Answer 1

我不确定并行下载数据是个好主意，因为它会阻塞很多线程。相反，将您的任务拆分为生产者和消费者。然后您可以分别并行化它们中的每一个。

这是单个生产者和多个消费者的示例。
（如果消费者比生产者更快，则可以使用普通的 foreach 而不是 parallel.ForEach）

var sources = BlockingCollection<SourceData>();
var producer = Task.Factory.CreateNew(
    () => {
        foreach (var item in MyGenericList) {
            var data = webservice.FetchData(item);
            sources.Add(data)
        }
        sources.CompleteAdding();
    }
)
Parallel.ForEach(sources.GetConsumingPartitioner(),
                 data => {
                     imageCreator.CreateImage(data);
                 });

（GetConsumingPartitioner 扩展是 ParallelExtensionsExtras)

编辑 更完整的示例

var sources = BlockingCollection<SourceData>();

var producerOptions = new ParallelOptions { MaxDegreeOfParallelism = 5 };
var consumerOptions = new ParallelOptions { MaxDegreeOfParallelism = -1 };

var producers = Task.Factory.CreateNew(
    () => {
        Parallel.ForEach(MyLGenericList, producerOptions, 
            myObject => {
                myObject.DoLoad()
                sources.Add(myObject)
            });
        sources.CompleteAdding();
    });
Parallel.ForEach(sources.GetConsumingPartitioner(), consumerOptions,
    myObject => {
        myObject.CreateImage();
        myObject.Dispose();
    });

使用此代码，您可以在保持 CPU 占用的同时优化并行下载量忙于图像处理。

Answer 2

当循环体执行的工作受 CPU 限制时，具有默认设置的 Parallel.ForEach 方法效果最佳。如果你同步阻塞或将工作移交给另一方，调度程序会认为CPU仍然不忙，并不断塞满更多任务，努力使用系统中的所有CPU。

在您的情况下，您只需选择合理数量的并行重叠下载，并在 ForEach 选项中设置该值，因为您不会让循环使 CPU 饱和。