ADO.NET 数据表与数据读取器

Question

如果您只需要显示数据而不需要操作数据，则 DataReader 比 DataTable 更有效。但是，要从数据访问层获取 DataReader，我是否应该将连接对象保持打开状态？我觉得这也是一个非常大的效率问题。那么是否有另一种方法可以充分利用 DataReader？

Answer 1

是的，数据读取器绝对是最有效的 - 但您不想希望长时间保持连接打开！

• 使用DataReader将数据读入实体对象；打开连接、读取数据、关闭连接
• 执行您需要对业务对象执行的任何操作
• ，将更改存储回来，例如，通过使用即席 SQL 查询、存储过程或您想要的任何其他内容；再次：打开连接，写回更改，关闭连接

这可能是您可以获得的最有效的方法 - 这是一些工作，一些无聊的代码等等，但它是尽可能快的。

如果您对开发人员的生产力比原始速度更感兴趣，为什么不使用某种 ORM 来完成所有这些无聊、烦人的来回映射呢？为您节省大量编码和维护的麻烦！

Answer 2

我从来没有让 DataReader 暴露在外（脱离 DAL）。您在某处保持连接打开只是时间问题。另外，我几乎从未在一次调用中处理如此多的数据，而传递 DataTable 或 DataSet 会出现问题。

我们使用的是面向对象的语言，DAL 可以真正利用这一点。您的项目中应该只有一行代码来获取连接字符串。只有一个对象实际接触数据库（调用 ExecuteNonQuery、DA.Fill() 等）。

这还可以让您充分参与记录异常等工作，因为您只需执行一次。因此，在我用于所有项目中所有 DAL 对象的一个​​ DAL 基类中，我的逻辑是，如果 DAL 引发异常，则会将其记录到数据库中的表中。如果数据库日志记录失败，此日志记录将故障转移到文本文件。

So the code I see a lot looks like:
-   Start a try block
-   Make a SQLCommand
-   Get connection string.
-   Make Connection object
-   Open the connection
-   Get the data
-   Bind the data
-   Close the connection
-   Log error if exception

由于我封装了所有这些，因此获取数据的代码现在看起来像：（

GridView1.DataSource = cProgram.DB.getMyData();

或更可能是 BAL 对象位于两者之间）。 DB 是一个普通对象（非静态），但每个应用程序仅实例化一次。

Answer 3

让您的数据层返回对象，而不是数据表或数据读取器。我建议您使用数据读取器填充对象。

Answer 4

我通常做的是使用 CommandBehavior.CloseConnection 打开阅读器。然后我运行读取器并将数据读入我自己的对象模型或列表或内存中的任何数据，然后关闭读取器。它与数据表做了很多相同的事情，但我只是讨厌处理臃肿且松散类型的数据结构。

Answer 5

让我们有一个愚蠢的基准来检查 DataReader（.Net 版本 4）的速度有多快。
我从数据库 (SQL Server 2000) 中获取一条记录并读取其所有字段。我重复这个过程1000次。 DataReader 花费了 17.3327585 秒，DataTable 花费了 18.37320156 秒，因此对于 1000 次读取，DataReader 比 DataTable 快约 1.04 秒。

因此，如果 DataReader 优于 DataTable，则性能将提高 0.00104 秒。

看看 DataSet 比 DataReader 慢是因为……吗？

Answer 6

当我之前研究这个问题时，我相信我发现 DataReader 和 DataTable 之间的性能差异是微不足道的，除了可能非常大量的数据。从那时起，我通常使用 DataTable，因为它功能更齐全，可以断开连接等。

Answer 7

如果您想完全抽象 ADO.NET 的连接和仪式，DataReader 是一个小挑战。我真的不喜欢我的数据工具有一个松散的开放连接，希望 DataReader 被释放（假设您使用了选项CommandBehavior.CloseConnection）。此外，当使用大量 DataReader 时，很难池化连接，因为在前一个 DataReader 关闭之前您无法对连接执行任何操作。它们不能轻易传递。您的数据工具不是真正的抽象。

另一方面，数据表非常灵活，可以编写一些非常高效、清晰的代码。 Linq-To-DataTable 很棒。幸运的是，DataTable 实际上相当高效。对于非大型结果集，它几乎与数据读取器一样快。 （当然，这取决于您正在做什么。）我越来越多地从我的数据工具而不是读者中获取数据表。它确实让生活变得简单。我可以继续使用同一个打开的连接。数据工具中没有“状态”。

获取 DataReader 的代码非常简单。因此，当我确实需要 DataReader（不经常）时，我只需让 DAL 向我提供连接，然后我自己获取 DataReader。

Answer 8

直接来自文档：

当您需要检索多行数据时，以便您可以
以其他方式显示或处理数据，有两种基本方法
选择。您可以使用 DataSet 对象或 DataReader 对象。

DataReader 方法通常更快，因为它避免了
与创建 DataSet 对象相关的开销。这
与 DataSet 对象相关的开销包括创建
DataSet 子对象，例如 DataTable、DataRow 和 DataColumn。
然而，DataReader 的灵活性较差，不太适合
对于必须缓存数据并将数据传递给的情况
具有多层的应用程序中的组件。

注意：用于填充DataSet的DataAdapter内部使用DataReader。

满足以下条件时使用 DataReader：

• 您需要对数据进行只进、只读访问（消防水带
场景），并且您希望尽快访问数据，并且
您不需要缓存它。

• 您有一个数据容器，例如业务组件，您可以
将数据放入。

满足以下条件时使用数据集：

• 您必须在层之间缓存或传递数据。

• 您需要 XML 数据的内存中关系视图或
非 XML 操作。

• 您想要更新部分或全部检索到的行，并且您想要
使用 SqlDataAdapter 类的批量更新功能。

• 您必须将数据绑定到 DataReader 无法绑定的控件类型
受到约束。许多能够进行数据绑定的 Windows 窗体控件
需要一个实现 IList 接口的数据源。数据集
实现 IList，但 DataReader 实现 IEnumerable。
IEnumerable 支持将数据绑定到大多数 Web 窗体控件，但不支持
某些 Windows 窗体控件。检查数据源要求
您要绑定的特定控件类型。

• 您必须同时访问多组数据，并且您
不想占用开放的服务器资源。

虽然谈论 DataSet 基本上大部分内容也适用于 DataTable。从效率的角度来看，这是来自 msdn 本身的罕见基准测试。底线是 DataReader 稍微快一点，如果重要的话..

也请参阅此相关问题，其中建议了一些很酷的 ORM 和基准测试。

Answer 9

这与我在此处发布的内容相同。

我用各种方法自己做了一些基准测试：

public DataTable Read1(string query)
{
    using (var cmd = conn.CreateCommand())
    {
        cmd.CommandText = query;
        cmd.Connection.Open();
        var table = new DataTable();
        using (var r = cmd.ExecuteReader())
            table.Load(r);
        return table;
    }
}

public DataTable Read2<S>(string query) where S : IDbDataAdapter, IDisposable, new()
{
    using (var da = new S())
    {
        using (da.SelectCommand = conn.CreateCommand())
        {
            da.SelectCommand.CommandText = query;
            da.SelectCommand.Connection.Open();
            DataSet ds = new DataSet();
            da.Fill(ds);
            return ds.Tables[0];
        }
    }
}

public IEnumerable<S> Read3<S>(string query, Func<IDataRecord, S> selector)
{
    using (var cmd = conn.CreateCommand())
    {
        cmd.CommandText = query;
        cmd.Connection.Open();
        using (var r = cmd.ExecuteReader())
            while (r.Read())
                yield return selector(r);
    }
}

public S[] Read4<S>(string query, Func<IDataRecord, S> selector)
{
    using (var cmd = conn.CreateCommand())
    {
        cmd.CommandText = query;
        cmd.Connection.Open();
        using (var r = cmd.ExecuteReader())
            return ((DbDataReader)r).Cast<IDataRecord>().Select(selector).ToArray();
    }
}

public List<S> Read5<S>(string query, Func<IDataRecord, S> selector)
{
    using (var cmd = conn.CreateCommand())
    {
        cmd.CommandText = query;
        cmd.Connection.Open(); 
        using (var r = cmd.ExecuteReader())
        {
            var items = new List<S>();
            while (r.Read())
                items.Add(selector(r));
            return items;
        }
    }
}

1 和 2 返回 DataTable，而其余的强类型结果集，所以它完全不是苹果对苹果，但我同时相应地计时。

仅是要点：

Stopwatch sw = Stopwatch.StartNew();
for (int i = 0; i < 100; i++)
{
    Read1(query); // ~8900 - 9200ms

    Read1(query).Rows.Cast<DataRow>().Select(selector).ToArray(); // ~9000 - 9400ms

    Read2<MySqlDataAdapter>(query); // ~1750 - 2000ms

    Read2<MySqlDataAdapter>(query).Rows.Cast<DataRow>().Select(selector).ToArray(); // ~1850 - 2000ms

    Read3(query, selector).ToArray(); // ~1550 - 1750ms

    Read4(query, selector); // ~1550 - 1700ms

    Read5(query, selector); // ~1550 - 1650ms
}

sw.Stop();
MessageBox.Show(sw.Elapsed.TotalMilliseconds.ToString());

查询返回大约 1200 行和 5 个字段（运行 100 次）。除了 Read1 之外，一切都表现良好。其中我更喜欢 Read3 ，它延迟返回数据，如枚举的。如果您只需要枚举它，这对记忆很有帮助。要在内存中保存集合的副本，最好根据需要使用 Read4 或 Read5。