使用并行扩展或并行 LINQ 与 LINQ Take

Question

我有一个大约有 500 万行的数据库。我正在尝试为数据库生成 XML 字符串并将它们推送到服务。该服务支持一次获取 1000 条记录，而不是一次执行一项操作。目前，速度相当慢，每 1000 条记录需要 10 秒以上（包括写回数据库和上传到服务）。

我尝试让以下代码工作，但失败了......当我尝试它时，我遇到了崩溃。有什么想法吗？

    var data = <insert LINQ query here>
    int take = 1000
    int left = data.Count();

    Parallel.For(0, left / 1000, i =>
        {
            data.Skip(i*1000).Take(1000)...
            //Generate XML here.
            //Write to service here...
            //Mark items in database as generated.
        });
        //Get companies which are still marked as not generated.
        //Create XML.
        //Write to Service.

我收到崩溃消息，告诉我索引超出范围。如果 left 是 500 万，则循环中的数字不应超过 5000。如果我再将其乘以 1000，则不应超过 500 万。如果它工作了一段时间然后失败了，我不介意，但它只是在 SQL 查询之后失败！

Answer 1

我认为它不喜欢你的最后一个索引值 - 它应该是 left / 1000 -1，而不是 left / 1000：

Parallel.For(0, left / 1000 - 1, i =>
        {
            data.Skip(i*1000).Take(1000)...
            //Generate XML here
            //Write to Service here...
            //mark items in DB as generated
        });

Answer 2

我怀疑索引越界错误是由当前显示的代码以外的代码引起的。

话虽如此，这可以以更简洁的方式处理。您应该考虑切换到使用自定义分区程序，而不是使用此方法。这将显着提高效率，因为每次调用 Skip/Take 都会强制重新评估您的序列。