Delphi性能：读取数据集中某个字段下的所有值

Question

我们正在尝试找出一些从 TADOQuery 读取的性能修复程序。目前，我们使用 'while not Q.eof do begin ... Q.next 方法循环记录。对于每条记录，我们读取每条记录的 ID 和值，并将每条记录添加到组合框列表中。

有没有一种方法可以一次性将指定字段的所有值转换为列表？而不是循环遍历数据集？如果我可以做类似的事情，那将非常方便......

TStrings(MyList).Assign(Q.ValuesOfField['Val']);

我知道这不是真正的命令，但这就是我正在寻找的概念。寻找快速响应和解决方案（一如既往，但这是为了解决一个非常紧急的性能问题）。

Answer 1

看看您的评论，这里有一些建议：

在这种情况下，有一些事情可能会成为瓶颈。第一个是反复查找字段。如果您在循环内调用 FieldByName 或 FindField，则您会浪费 CPU 时间来重新计算不会更改的值。为您正在读取的每个字段调用一次 FieldByName，并将它们分配给局部变量。

从字段检索值时，调用 AsString 或 AsInteger 或返回您要查找的数据类型的其他方法。如果您从 TField.Value 属性读取数据，则您会在 variant 转换上浪费时间。

如果您要向 Delphi 组合框添加一堆项目，您可能会处理 Items 属性形式的字符串列表。设置列表的 Capacity 属性，并确保在开始更新之前调用 BeginUpdate，并在结束时调用 EndUpdate。这可以实现一些内部优化，从而更快地加载大量数据。

根据您使用的组合框，在处理其内部列表中的大量项目时可能会遇到一些问题。看看它是否有一个“虚拟”模式，在这种模式下，您不必预先加载所有内容，只需告诉它需要多少个项目，当它被下拉时，它会为应该显示的每个项目调用一个事件处理程序在屏幕上，然后您为其指定要显示的正确文本。这确实可以加快某些 UI 控件的速度。

另外，当然，您应该确保数据库查询本身很快，但 SQL 优化超出了这个问题的范围。

最后，米凯尔·埃里克森的评论绝对值得关注！

Answer 2

您可以使用 Getrows。您指定您感兴趣的列，它将返回一个包含值的数组。在我的测试中，将 22.000 行添加到组合框所需的时间从使用 while not ADOQuery1.Eof ... 循环的 7 秒变为 1.3 秒。

示例代码：

var
  V: Variant;
  I: Integer;
begin
  V := ADOQuery1.Recordset.GetRows(adGetRowsRest, EmptyParam, 'ColumnName');

  for I:= VarArrayLowBound(V, 2) to VarArrayHighBound(V, 2) do
    ComboBox1.Items.Add(V[0, I]));
end;

如果您希望数组中有多个列，则应使用变体数组作为第三个参数。

V := ADOQuery1.Recordset.GetRows(adGetRowsRest, EmptyParam, 
       VarArrayOf(['ColumnName1', 'ColumnName2']);

Answer 3

其他人提出了一些很好的性能建议，您应该在 Delphi 中实施。你应该考虑他们。我将重点关注 ADO。

您还没有指定后端数据库服务器是什么，所以我不能太具体，但是您应该了解一些关于 ADO 的事情。

ADO RecordSet

在ADO中，有一个RecordSet对象。在这种情况下，RecordSet 对象基本上就是您的 ResultSet。迭代 RecordSet 的有趣之处在于它仍然与提供者耦合。

游标类型

如果您的游标类型是 Dynamic 或 Delphi 的默认 Keyset，那么每次 RecordSet 向提供者请求新行时，提供者都会在返回记录之前检查是否有任何更改。

因此，对于 TADOQuery，您所做的只是读取结果集以填充组合框，并且它不太可能发生更改，您应该使用静态游标类型来避免检查更新的记录。

如果您不知道光标是什么，当您调用 Next 之类的函数时，您正在移动光标，它代表当前记录。

并非每个提供程序都支持所有游标类型。

CacheSize

Delphi 和 ADO 的 RecordSet 默认缓存大小为 1。即 1 条记录。这与光标类型结合使用。缓存大小告诉 RecordSet 一次要获取和存储多少条记录。

当您发出高速缓存大小为 1 的 Next（实际上是 ADO 中的 MoveNext）之类的命令时，RecordSet 在内存中仅具有当前记录，因此当它获取下一条记录时，它必须再次向提供者请求该记录。如果游标不是静态的，则提供程序有机会在返回下一条记录之前获取最新数据。因此，大小 1 对于 Keyset 或 Dynamic 有意义，因为您希望提供程序能够为您获取更新的数据。

显然，值为 1 时，每次移动光标时提供者和 RecordSet 之间都会进行通信。好吧，如果游标类型是静态的，那么这是我们不想要的开销。因此，增加缓存大小将减少 RecordSet 和提供者之间的往返次数。这也会增加您的内存要求，但速度应该更快。

另请注意，当键集游标的缓存大小大于 1 时，如果您想要的记录位于缓存中，它将不会再次向提供者请求该记录，这意味着您将看不到更新。

Answer 4

你无法避免循环。 “非常长的时间”是相对的，但如果检索 20000 条记录花费的时间太长，则说明出现了问题。

• 检查您的查询；也许 SQL 可以改进（缺少索引？）
• 显示将项目添加到组合框的循环代码。也许可以优化一下。 （在循环中重复调用 FieldByName？使用变体来检索字段值？）
• 确保在循环和 ComboBox.Items 之前调用 ComboBox.Items.BeginUpdate; .EndUpdate 之后。
• 使用分析器来查找瓶颈。

Answer 5

您可以尝试将所有数据推送到 ClientDataSet 中并迭代此操作，但我认为将数据复制到 CDS 正是您当前正在做的事情 - 循环和分配。

我曾经所做的是将服务器上的值连接起来，将其批量传输到客户端，然后再次拆分。这实际上使系统变得更快，因为它减少了客户端和服务器之间必要的通信。

你必须仔细看看性能瓶颈在哪里。如果您在添加值时不阻止 GUI 更新（特别是当我们谈论 20K 值时 - 这需要滚动很多），那么它也可能是组合框。

编辑：当您无法更改通信时，您也许可以使其异步。在线程中请求新数据，保持 GUI 响应，当数据存在时填充组合框。这意味着用户会看到一个空的组合框 5 秒钟，但至少他可以同时做其他事情。但不会改变所需的时间。

Answer 6

您的查询是否也与某些数据感知控件或 TDataSource 相关？如果是这样，请在 DisableControls 和 EnableControls 块内进行循环，以便每次移动到新记录时视觉控件都不会更新。

项目列表是否相当静态？如果是这样，请考虑在应用程序启动时创建组合框的非可视实例（可能在单独的线程内），然后在创建表单时将非可视组合框分配给可视组合框。

Answer 7

尝试使用DisableControls和EnableControls来提高数据集中线性过程的性能。

   var
  SL: TStringList;
  Fld: TField;
begin
  SL := TStringList.Create;
  AdoQuery1.DisableControls;
  Fld := AdoQuery1.FieldByName('ListFieldName'); 
  try
    SL.Sorted := False; // Sort in the query itself first
    SL.Capacity := 25000; // Some amount estimate + fudge factor

    SL.BeginUpdate;  
    try
      while not AdoQuery1.Eof do
      begin
        SL.Append(Fld.AsString);
        AdoQuery1.Next;
      end;
    finally
      SL.EndUpdate;
    end;

    YourComboBox.Items.AddStrings(SL);

  finally
    SL.Free;
    AdoQuery1.EnableControls;
  end;
end;

Answer 8

不确定这是否有帮助，但我的建议是不要直接添加到 ComboBox。相反，加载到本地 TStringList，使其尽可能快，然后使用 TComboBox.Items.AddStrings 一次性添加它们：

var
  SL: TStringList;
  Fld: TField;
begin
  SL := TStringList.Create;
  Fld := AdoQuery1.FieldByName('ListFieldName'); 
  try
    SL.Sorted := False; // Sort in the query itself first
    SL.Capacity := 25000; // Some amount estimate + fudge factor
    SL.BeginUpdate;  
    try
      while not AdoQuery1.Eof do
      begin
        SL.Append(Fld.AsString);
        AdoQuery1.Next;
      end;
    finally
      SL.EndUpdate;
    end;
    YourComboBox.Items.BeginUpdate;
    try
      YourComboBox.Items.AddStrings(SL);
    finally
      YourComboBox.Items.EndUpdate;
    end;
  finally
    SL.Free;
  end;
end;