SQL 查询速度快，但结果检索速度慢

Question

我正在使用 Sybase 的 Advantage 数据库服务器，目前有一个很好的快速左连接查询，运行速度非常快。问题是运行查询后我想将结果放入字符串中。我检索了包含 55000 个条目的数据集。 现在最多需要 16 秒。将其放入字符串中。我的查询只花了 8 毫秒运行。我的第一次尝试是这样的：

    aADSQuery.Open
    aADSQuery.First
    WHILE not aADSQuery.eof do
    begin
       s := s + aADSQuery.FieldbyName('Name').asString+',';
       aADSQuery.Next;
    end;

之后，我尝试这样做以避免 aADSQuery.next，但是 aADSQuery.RecordCount 占用了 我9秒

    aADSQuery.Open
    aADSQuery.First
    Count := aADSQuery.RecordCount;
    for i:=0 to count-1 do
    begin
      aADSQuery.RecNo := i;
      aADSQuery.FieldbyName('Name').AsString; 
    end;

数据库已建立索引，主键为条目 ID，索引为其他列。 我考虑过创建一个视图来计算我的条目以避免记录计数，这可能与 sql 计数完全相同。但视图中的条目计数所花费的时间与以前相同。如果我使用sql 算一下我的基表有 130000 个条目，只需要 200 毫秒。但是，如果我在不使用视图的情况下对结果表进行计数，则需要 9 秒。我想是的，因为新的临时结果表没有索引。有谁知道如何以正确的方式处理此类问题或如何获得更快的结果计数？

非常感谢

Answer 1

使用一些基于缓冲区的类（例如 TStringStream）来填充字符串。这将避免 String 连接 (s := s + foo) 的缓慢重新分配。

不要在循环中使用 aADSQuery.FieldbyName('Name').AsString。很慢。
相反，创建一个局部变量F，如下所示：

var
  F: TField;

F := aADSQuery.FieldbyName('Name');
for i:=0 to count-1 do
begin
  aADSQuery.RecNo := i;
  F.AsString; 
end;

我相信使用aADSQuery.Next比使用RecNo更快

procedure Test;
var
  F: TField;
  Buf: TStringStream;
  S: string;
begin
  aADSQuery.DisableControls;
  try
    aADSQuery.Open;
    F := aADSQuery.FieldbyName('Name');
    Buf := TStringStream.Create('');
    try
      while not aADSQuery.Eof do
      begin
        Buf.WriteString(F.AsString + ',');
        aADSQuery.Next;
      end;
      S := Buf.DataString;
    finally
      Buf.Free;
    end;
  finally
    aADSQuery.EnableControls;
  end;
end;

---

您可以在服务器端生成该字符串并将其返回到客户端，而无需在客户端构造任何字符串：

DECLARE @Names NVARCHAR(max)
SELECT @Names = ''
SELECT @Names = @Names + ',' + ISNULL([Name], '') FROM MyTable
SELECT @Names

---

您还可以通过设置 TAdsQuery.AdsTableOptions。确保将 AdsFilterOptions 设置为 IGNORE_WHEN_COUNTING，并将 AdsFreshRecordCount 设置为 False。

Answer 2

从OP来看，我并不完全清楚目标是查找记录总数还是向用户显示数据。如果要显示数据，那么将 55,000 条记录的所有数据附加到单个字符串中可能不是最好的方法。如果您对 Advantage Data Architect 中运行查询的性能感到满意，那么使用类似的方法并将数据存储在某种网格中可能是有意义的。

例如，将 TDataSource 与 TDBGrid 关联并将查询绑定到数据源：

AdsQuery1.Open;
DataSource1.DataSet:=AdsQuery1;
DBGrid1.DataSource:=DataSource1;

数据感知网格将仅获取填充网格所需的数据，并在用户翻阅网格时按需请求数据。

编辑 当您请求记录计数时，服务器必须解析整个结果集。如果您使用 Advantage Local Server 并且数据驻留在网络服务器上，则通过网络读取所有数据将产生额外成本。如果您使用 Advantage Database Server（客户端/服务器版本），则处理将在服务器上进行，并且速度可能会快得多。

这当然取决于查询，但解析结果集的 9 秒可能太长了。在 Advantage Data Architect 中，您可以检查查询的优化情况。 SQL 菜单下有一个“显示计划”选项，SQL 实用程序的工具栏上有一个用于显示查询计划的按钮。可能您缺少必要的索引。

Answer 3

为什么不在服务器端执行您需要的操作并返回结果呢？

而且在这样的情况下：

• 你强迫 Delphi 每次都重新分配字符串。如果您知道它可以达到的最大大小，您应该之前预先分配字符串大小，然后在完成后“更正”它。
• FieldByName() 很慢 - 它必须为每次调用执行查找。定义要用于数据集的字段。
• 如果记录“很大”，网络性能可能很重要。您可以将 MTU 设置为更大的值，以更好地利用当今的千兆位网络。

Answer 4

最后，我发现了我的错误，但有些事情我不明白。
首先，我在连接查询中更改了左连接 sql 查询。这使得我的记录计数更快，而且如果我使用 next，现在速度更快。之后我检查了每一列的表类型。我发现，如果没有必要，对字符列使用固定大小的性能不是很好。在我的例子中，我为 20 列选择了 100 的大小，但我的列的大小以 3 为步长从第 1 列增加到第 20 列。因此，第 20 列的最大大小为 60，第 1 列有 3 个字符。（这些是我的搜索列）这使得我的 while do 子句速度提高了两倍。随着这些变化。我可以在 5500 毫秒内获取 55000 个条目。现在我改变了桌子的设计。我已将所有内容放在一张表中，不再需要连接。至少目前还不行。我使用了普通的 Select .. From ..Where 子句。我处理这 55000 个条目结果的时间再次减少到 2500 毫秒。这对我来说再好不过了。
所以唯一的问题仍然是，如果我使用不同的 SQL 查询，为什么在执行 ADSQuery.open 后获取数据会产生很大的差异。我认为这可能会影响sql查询的执行时间，但它也影响了
结果获取。