如何重构此 ForEach(..) 代码以使用 Parallel.ForEach(..)？

Question

我有一个对象列表，我希望将其从一个源复制到另一个源。 有人建议我可以通过使用 Parallel.ForEach

如何重构以下伪代码以利用 Parallel.ForEach(..) ？

var foos = GetFoos().ToList();
foreach(var foo in foos)
{
    CopyObjectFromOldBucketToNewBucket(foo, oldBucket, newBucket, 
        accessKeyId, secretAccessKey);
}

CopyObjectFromOldBucketToNewBucket 使用 Amazon REST API 将项目从一个存储桶移动到另一个存储桶。

干杯:)

Answer 1

Parallel 实际上并不是这里的最佳选择。 Parallel 将并行运行您的代码，但仍会为每个对 AWS 的请求使用线程池线程。使用 BeginCopyObject 方法可以更好地利用资源。这不会耗尽等待响应的线程池线程，而只会在收到响应并需要处理时才使用它。

下面是如何使用 Begin/End 方法的简化示例。这些并不是 AWS 特有的，而是在 .NET BCL 中发现的一种模式。

public static CopyFoos() 
{
    var client = new AmazonS3Client(...);
    var foos = GetFoos().ToList();
    var asyncs = new List<IAsyncResult>();
    foreach(var foo in foos)
    {
        var request = new CopyObjectRequest { ... };  

        asyncs.Add(client.BeginCopyObject(request, EndCopy, client));
    }

    foreach(IAsyncResult ar in asyncs)
    {
        if (!ar.IsCompleted)
        {
            ar.AsyncWaitHandle.WaitOne();
        }
    }
}

private static EndCopy(IAsyncRequest ar) 
{    
    ((AmazonS3Client)ar.AsyncState).EndCopyObject(ar);
}

对于生产代码，您可能希望跟踪已发送的请求数量，并且每次仅发送有限数量的请求。测试或 AWS 文档可能会告诉您最佳并发请求数。

在这种情况下，当请求完成时，我们实际上不需要执行任何操作，因此您可能会想跳过 EndCopy 调用，但这会导致资源泄漏。每当调用 BeginXxx 时，您都必须调用相应的 EndXxx 方法。

Answer 2

由于您的代码除了 foos 之外没有任何依赖项，您可以简单地执行以下操作：

Parallel.ForEach(foos, ( foo => 
{
    CopyObjectFromOldBucketToNewBucket(foo, oldBucket, newBucket, 
                                       accessKeyId, secretAccessKey);
}));

不过请记住，I/O 只能并行到一定程度，之后性能实际上可能会下降。