为什么 mysql 结果集的循环很慢？ （每个周期 1.4 毫秒）

Question

$res 包含大约 488k 行，整个循环需要 61 秒！每个周期超过 1.25 毫秒！是什么占用了这么长的时间？

while($row = $res->fetch_assoc())
{
    $clist[$row['upload_id']][$row['dialcode_id']][$row['carrier_id']]['std'] = $row['cost_std'];
    $clist[$row['upload_id']][$row['dialcode_id']][$row['carrier_id']]['ecn'] = $row['cost_ecn'];
    $clist[$row['upload_id']][$row['dialcode_id']][$row['carrier_id']]['wnd'] = $row['cost_wnd'];
    $dialcode_destination[$row['upload_id']][$row['carrier_id']][$row['dialcode_id']]['other_destination'] = $row['destination_id'];
    $dialcode_destination[$row['upload_id']][$row['carrier_id']][$row['dialcode_id']]['carrier_destination'] = $row['carrier_destination_id'];
}

现在，结果集为 10 行，数组更小，性能提高了 30 倍（0.041 毫秒），虽然不是最快的，但更好。

while($row = $res->fetch_assoc())
{
    $customer[$row['id']]['name'] = $row['name'];
    $customer[$row['id']]['code'] = $row['customer'];
}

Answer 1

大数组需要更多时间来分配内存和处理。
这就是为什么我们总是要求数据库完成所有工作并返回 10 行作为最终结果。

Answer 2

488k是很多行，意味着很多数据。数组中的项目越多，需要分配的内存就越多，查找元素所需的时间就越长。

当您执行相同的代码近 50 万次时，优化数组访问是值得的：

... {
  $myclist =& $clist[$row['upload_id']][$row['dialcode_id']][$row['carrier_id']];
  $myclist['std'] = $row['..'];
  $myclist['ecn'] = $row['..'];
  ...
  $dest =& $dialcode_destination[$row['upload_id']][$row['carrier_id']][$row['dialcode_id']];
  $dest['..'] = $row['..'];
  $dest['..'] = $row['..'];
}

这样您只需执行一次数组查找，而不是重复执行，并且可能会显着减少运行时间。尽管如此，将这么多东西放在一个数组中并不会很快。

从长远来看，最好的选择是将数据留在数据库中，只在需要时抓取数据（或者让数据库为您做繁重的工作，如果您想求和/平均/其他） 。

Answer 3

我怀疑一直花费的时间是对 4 维数组的持续访问，其中一些（或全部？）维度是从字符串字段中键入的，这些值本身必须从$row...

我建议您认真重新考虑：

1. 是否需要内存中的所有内容（
2. 如果需要），实现最佳访问的最佳数据结构是什么

Answer 4

这个怎么样：

$cache = array();
while($row = $res->fetch_assoc())
{
    $key = $row['upload_id']."\n".$row['dialcode_id']."\n".$row['carrier_id'];
    $key1 = "1\n$key";
    if (!array_key_exists($key1, $cache))
      $cache[$key1] = &$clist[$row['upload_id']][$row['dialcode_id']][$row['carrier_id']];

    $ref = &$cache[$key1];
    $ref['std'] = $row['cost_std'];
    $ref['ecn'] = $row['cost_ecn'];
    $ref['wnd'] = $row['cost_wnd'];

    $key2 = "2\n$key";
    if (!array_key_exists($key2, $cache))
      $cache[$key2] = &$dialcode_destination[$row['upload_id']][$row['carrier_id']][$row['dialcode_id']]

    $ref = &$cache[$key2];
    $ref['other_destination']   = $row['destination_id'];
    $ref['carrier_destination'] = $row['carrier_destination_id'];
}