Parallel.ForEach 可以与 CloudTableQuery 一起安全使用吗

Question

我在 Azure 表中有合理数量的记录，我正在尝试对其进行一次性数据加密。我认为我可以通过使用 Parallel.ForEach 来加快速度。另外，因为有超过 1K 条记录，而且我不想自己搞乱连续令牌，所以我使用 CloudTableQuery 来获取我的枚举器。

我的问题是，我的一些记录已被双重加密，并且我意识到我不确定 CloudTableQuery.Execute() 返回的枚举器的线程安全性如何。还有其他人有过这种组合的经验吗？

Answer 1

我愿意打赌，执行返回线程安全的 IEnumerator 实现的答案是极不可能的。也就是说，这听起来像是生产者-消费者模式的又一个案例。

在您的特定场景中，我会让名为 Execute 的原始线程按顺序读取结果并将其填充到 BlockingCollection。不过，在开始执行此操作之前，您需要启动一个单独的 Task，该任务将使用 Parallel::ForEach 控制这些项目的消耗。现在，您可能还想考虑使用 ParallelExtensions 库的 GetConsumingPartitioner 方法，以提高效率，因为在这种情况下，默认分区程序会产生比您想要的更多的开销。您可以从这篇博文。

与原始 ConcurrentQueueu 相比，使用 BlockingCollection 的另一个好处是它提供了 设置界限，这可以帮助阻止生产者向集合中添加超出消费者可以跟上的项目。当然，您需要进行一些性能测试来找到适合您的应用程序的最佳点。

Answer 2

尽管我尽了最大努力，我还是无法复制我原来的问题。因此，我的结论是，将 Parallel.ForEach 循环与 CloudTableQuery.Execute() 结合使用是完全可以的。