当前位置：文江博客话题详情

处理大型 SQL 选择查询/读取块中的 SQL 数据

发布于 2024-11-02 13:41:51 字数 185 浏览 6 评论 0原文

我正在使用.Net 4.0 和 SQL Server 2008 R2。

我正在运行一个大型 SQL 选择查询，它返回数百万个结果，并且需要很长时间才能完全运行。

有谁知道如何只读取查询返回的部分结果，而不必等待整个查询完成？

换句话说，我想在查询仍在运行并获取下一个结果的同时读取前 10,000 个记录块。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

三岁铭 2024-11-09 13:41:51

这部分取决于查询本身是否是流式的，或者是否在临时表中完成大量工作，然后（最后）开始返回数据。在第二种情况下，除了重写查询之外，您不能做太多事情；然而，在第一种情况下，迭代器块通常会有所帮助，即，

public IEnumerable<Foo> GetData() {
     // not shown; building command etc
     using(var reader = cmd.ExecuteReader()) {
         while(reader.Read()) {
             Foo foo = // not shown; materialize Foo from reader
             yield return foo;
         }
     }
}

现在这是一个流式迭代器 - 您可以对其进行 foreach ，它将从传入的 TDS 数据中实时检索记录，而无需先缓冲所有数据。

如果您（也许是明智的）不想编写自己的具体化代码，可以使用一些工具来为您执行此操作 - 例如，LINQ-to-SQL 的 ExecuteQuery(tsql, args) 将无痛地完成上述操作。

It depends in part on whether the query itself is streaming, or whether it does lots of work in temporary tables then (finally) starts returning data. You can't do much in the second scenario except re-write the query; however, in the first case an iterator block would usually help, i.e.

public IEnumerable<Foo> GetData() {
     // not shown; building command etc
     using(var reader = cmd.ExecuteReader()) {
         while(reader.Read()) {
             Foo foo = // not shown; materialize Foo from reader
             yield return foo;
         }
     }
}

This is now a streaming iterator - you can foreach over it and it will retrieve records live from the incoming TDS data without buffering all the data first.

If you (perhaps wisely) don't want to write your own materialization code, there are tools that will do this for you - for example, LINQ-to-SQL's ExecuteQuery<T>(tsql, args) will do the above pain-free.

回复收藏 0 原文

山色无中 2024-11-09 13:41:51

您需要使用数据分页。

SQL Server 有 TOP 子句（SQL TOP 10 a,b,c from d）和 BETWEEN：

SELECT TOP 10000 a,b,c from d BETWEEN X and Y

有了这个，我猜你将能够检索 N 个数字行，进行一些部分处理，然后加载接下来的 N 行，依此类推。

这可以通过实现多线程解决方案来实现：一个将检索结果，而另一个将异步等待数据并进行一些处理。

You'd need to use data paging.

SQL Server has the TOP clause (SQL TOP 10 a,b,c from d) and BETWEEN:

SELECT TOP 10000 a,b,c from d BETWEEN X and Y

Having this, I guess you'd be able of retrieving an N number of rows, do some partial processing, then load next N number of rows and so on.

This can be achieved by implementing a multithreaded solution: one will be retrieving results while the other will asynchronously wait for data and it'll be doing some processing.

回复收藏 0 原文