将数千条记录和数十万条子记录拉入类对象的最有效方法是什么？

Question

我有一个场景，需要提取大约 7500 条数据库记录，其中每条记录都有 6 个子实体列表。每个子列表可以是 0 到大约 125 条记录。

我的类结构看起来像这样：

public class Entity
{
    public int ID { get; set;
    public string Name { get; set; }
    public ICollection<ChildEntity1> Children1 { get; set; }
    public ICollection<ChildEntity2> Children2 { get; set; }
    public ICollection<ChildEntity3> Children3 { get; set; }
    public ICollection<ChildEntity4> Children4 { get; set; }
    ... 2 more collections
}

在检索所有实体后，我需要迭代每个实体并执行一些计算，调用一些 Web 服务和其他各种事物，并最终导出到文件。

使用 c# 4 从 MS Sql Server 2008 检索此数据的最佳策略是什么？带有 DataAdapter 的数据集是最好的方法吗？ ORM？

出于显而易见的原因，我想远离选定的 N+1 场景。

Answer 1

DECLARE CURSOR on the Entity.

OPEN CURSOR.

For each FETCH CURSOR

    SELECT the child rows for the current Entity.

    Write the output.

CLOSE CURSOR.

Answer 2

所以我最终做的是有一个嵌套的 DataReader，一个外部的用于父实体获取所有父级，然后一个内部的使用 reader.NextResult() 方法在一个语句中读取所有的子级，类似于这样：

var exampleSql = "select * from child1Table; " +
                 "select * from child2Table; " +
                 "select * from child3Table"; 
                 // and so on for the other child tables
using (var outerReader = cmd.ExecuteReader())
{
    while (outerReader.Read())
    {
        var entity = new Entity();
        entity.Prop1 = outerReader[0];
        entity.Prop2 = outerReader[1];
        //.... etc.

        using (var cmdInner = new SqlCommand(exampleSql))
        using (var innerReader = cmdInner.ExecuteReader())
        {
            while (innerReader.Read())
            {
                var child = new Child1();
                child.Prop1 = innerReader[0];
                // ... etc.
                entity.Children1.Add(child);
            }
            innerReader.NextResult();
            while (innerReader.Read())
            {
                var child = new Child2();
                child.Prop1 = innerReader[0];
                // ... etc.
                entity.Children2.Add(child);
            }
            innerReader.NextResult();
            // and so on for the other child entities
        }
    }
}

至少这样，我只向数据库发送一个 sql 语句来检索每个父级的所有子实体，而不是为每个父级的每个子级发送一个单独的语句。

如果有人有更好的方法，请随时告诉我。

顺便说一句，我的示例代码只是伪代码。真正的事情是使用参数化查询，不选择星号，只选择我需要的列。目的是展示方法，而不是实际实现。