为什么 SQLyog 返回 MySQL 查询结果的速度比我的 Delphi 程序快 10 倍？

Question

select rectype,jobid,jobrecid,template,assignedto,entereddt,enteredby,ref1,processed,processeddt,
processbydt,title,description,connectlanhandle,finished,updateddt,ref2,cancelled,
requireaccept,acceptrejectstate,acceptrejectbydt,alert1dt,alert2dt,alert3dt,despatchallowed,
flag,ref3,projectid,duration,skillset,postcode,prefschedulefrom,prefscheduleto,customdata1,
customdata2,customdata3,hasnotes,displayjobtype,createdby,createddt,colour
 from jobs
 where updateddt >= '1982-02-05 17:25:38'
 or (processed = 'N' and
     cancelled = 'N')
 order by jobid, jobrecid

此查询返回约 80000 个结果。 SQLyog（一个 MySQL gui）可以在约 600 毫秒内以可见网格形式返回结果。 我的 Delphi 程序使用 ODBC（最新的 MyODBC 驱动程序）进行连接，仅执行查询就需要约 6000 毫秒，甚至没有开始查看结果。

关于如何使我的程序更快有什么想法吗？

Answer 1

我的猜测是，SQLyog 实际上并未在 600 毫秒内显示所有 80,000 个结果 - 它可能仍在加载后面的结果，同时显示第一个结果。 （特别是，我见过的大多数 GUI 框架即使不涉及数据库也无法快速填充 80,000 行。）

您可以尝试做同样的事情，假设您使用的 API 可以让您在流式传输中获得结果时尚（而不是在调用返回之前将所有内容传输到内存中）。

Answer 2

我自己在基本表（无连接）上尝试过，发现即使您单击“显示全部”复选框，SQLyog 也不会立即将所有结果显示在网格上，您可以通过将滚动按钮移动到最低区域来尝试一下，你会注意到 sqlyog 会放慢一些时间，并带来更多结果来显示。

ODBC 也已知速度较慢，因为它为本机访问添加了更多层，因此请尝试使用 来自 DevArt 的 MyDac 这是使用直接访问mysql（即使没有mysql客户端库）。

正如大多数人所说，永远不要尝试一次向用户显示 80,000 条记录。

顺便说一句，来自 sun 的官方 MySql GUI 工具 使用 Delphi 构建；- ）

Answer 3

我猜这是因为 SQLyog 使用本机 MySQL C API（直接连接），而您使用的是 ODBC 连接器。
您是否尝试过像 Devart 的 MyDAC 这样的第 3 方连接器？ 您可以从那里获取免费试用版并用它测试您的应用程序。

FWIW 我使用 MyDac 已经很多年了，我真的很满意（性能/奖品/支持）

Answer 4

正如其他人所说，这可能是因为 SQLyog 没有加载所有记录，并且可能将其限制为 200 条左右。

为了解决这个性能问题，您可以使用一些技巧。 由于您基本上是在启动时将数据集的缓存加载到应用程序中，因此您可以对此进行线程化。 加载仍需要 6 或 8 秒，但您的应用程序仍会启动并且 UI 可用。 如果有人在加载之前做了一些需要缓存的操作，您可以简单地显示沙漏光标，或者显示一条消息“请稍等...”，直到缓存准备就绪。

在线程中进行数据访问时需要注意的一件事是，您通常需要在线程中创建单独的数据库连接。 像这样的事情：

type
  TLoadCacheThread = class(TThread)
  private
    FConnection : TODBCConnection; // Or whatever, I don't use ODBC :-)
    FQuery : TODBCQuery;
    FMemData : TkbmMemTable; // This is what I use, YMMV
  protected
    procedure PopulateCachedDataset;
  public
    constructor Create; override;
    procedure Execute; override;
  end;

constructor Create;
begin
  inherited Create(True); // create suspended thread
  FConnection := TODBCConnection.Create(nil);
  // Set any properties for the connection here.
  FQuery := TODBCQuery.Create(nil);
  // Set any properties for the query here.
  FQuery.SQL.Text := 'select * from mytable';
  Resume;
end;

procedure Execute;
begin
  FQuery.Open;
  FMemTable.LoadFromDataset(FQuery);
  Synchronize(PopulateCachedDataset);
end;

// The idea here is that you're loading into a mem dataset, which can then
// quickly be copied to another memory dataset, rather than loading the
// cached data directly from FQuery, which is slow and why we're threading
// in the first place. This assumes you have some kind of globalsettings unit
// or class, and it has a cacheddataset variable or property.
procedure PopulateCachedDataset;
begin
  GlobalSettings.CachedDataset.LoadFromDataset(FMemTable);
end;

无论如何，这就是基本想法。 还有其他更复杂但技术上更优越的方法，例如让 GlobalSettings.CachedDataset 按需加载数据，因此第一次访问它会很慢，但后续时间会花费更长的时间等等。但是，它将取决于您的需求。

华泰

Answer 5

您可以在查询中使用 LIMIT 0,1000，然后在用户到达远端时通过检查 OnAfterScroll 事件来更改它。

Answer 6

在我看来，您应该仔细考虑您的应用程序和/或数据库架构 - 在处理 80K 记录时这没有什么好处。 尝试缩小你的查询范围 - 如果你不让你的生活更简单 - 没有人会 $)

Answer 7

SQLyog 可能不会一次加载所有 80000 行，至少我使用的一些数据库工具在滚动时会“按需加载”。 如果您绝对需要一次获取所有记录，请考虑使用线程来执行查询并填充内部数组。