分析 Mnesia 查询

Question

我们的 Mnesia DB 运行缓慢，我们认为它应该更快一些。

因此，我们需要对其进行分析并弄清楚发生了什么。

有许多选项可供选择：

• 运行 fprof 并查看时间都花在哪里
• 运行 cprof 并查看哪些函数被调用很多

但是，这些都是相当标准的性能监控风格工具。问题是我实际上如何进行查询分析 - 哪些查询花费的时间最长。如果我们是 Oracle 或 MySQL 商店，我们将只运行一个查询分析器，它将返回需要很长时间运行的查询类型。这似乎不是 Mnesia 可用的工具。

所以问题是：

• 存在哪些技术来分析 Mnesia
• 存在哪些工具来分析 Mnesia - 我认为没有，但证明我错了:)
• 你是如何分析你的查询并优化你的 mnesia 数据库安装的

根据讨论展开的

问题之一使用 fprof 作为分析工具的原因是它仅告诉您正在查看的特定查询。所以 fprof 告诉我 X 很慢，我调整它以加快速度。然后，你瞧，操作 Y（本来就足够快）现在却慢得要命。所以我分析了 Y 并意识到让 Y 快的方法就是让 X 慢。因此，我最终进行了一系列双边权衡……

我实际上需要是一种管理多边权衡的方法。我现在记录了 2 个可以重播的实际用户活动指标负载。这些日志代表了我想要优化的内容。

SQL 数据库上的“正确”查询分析器将能够分析 SQL 语句的结构，例如具有以下形式的所有语句：

SELECT [fieldset] FROM [table] WHERE {field = *parameter*}, {field = *parameter*}

并说这种形式的 285 个查询平均运行时间为 0.37 毫秒

神奇的答案是这样的：这种形式的 17 个查询运行了 6.34 秒，并对表 X 进行了全表扫描，你应该在字段 Y 上放置索引

当我有这样的结果集时然后，通过一组有代表性的用户活动，我可以开始全面考虑权衡，并设计一个测试模式。

测试模式类似于：

• 活动 X 将进行查询 A、C C 更快，但查询 E 和 F 较慢的
• 测试和测量
• 然后批准/不批准

我已经使用Erlang足够长的时间来“知道”没有这样的查询分析器，我想知道的是其他人（他们一定有这个问题）如何“推理”记忆优化。

Answer 1

我犹豫了，因为我对 Erlang 或 Mnesia 不太了解，但我对性能调优了解很多，而且从到目前为止的讨论来看，这听起来很典型。

这些工具 fprof 等听起来像大多数从 gprof 获得基本方法的工具，即检测函数、计算调用、对程序计数器进行采样等。很少有人拥有长时间检查了该实践的基础。对于此类工具的用户来说，您的挫败感听起来很典型。

您可能会考虑一种不太为人所知的方法，此处概述。它基于随机抽取少量（10-20）个程序状态样本，并理解每个样本，而不是进行总结。通常，这意味着检查调用堆栈，但您可能还想检查其他信息。有不同的方法可以做到这一点，但我只是使用调试器中的暂停按钮。我并不是想获得精确的时间或调用计数。这些充其量只是间接线索。相反，我会询问每个样本“它在做什么以及为什么？”如果我发现它正在执行某些特定活动，例如执行 X 查询，其中它正在寻找 y 类型的答案，目的是 z ，并且它在多个样本上执行此操作，那么它执行此操作的样本比例是对其执行此操作的时间比例的粗略但可靠的估计。我很可能可以对此做点什么，并获得良好的加速。

以下是该方法的使用案例研究。

Answer 2

由于 Mnesia 查询只是 erlang 函数，我想您可以像分析自己的 erlang 代码一样分析它们。 http://www.erlang.org/doc/efficiency_guide/profiling.html# id2266192 提供了有关可用 erlang 分析工具的更多信息。

更新 作为一项测试，我在家里的测试 mnesia 实例上运行了此命令，并使用 fprof 跟踪 mnesia qlc 查询返回的输出，我在下面包含了该示例。因此它肯定包含比查询调用更多的信息。

....
{[{{erl_lint,pack_errors,1},                      2,    0.004,    0.004}],     
 { {lists,map,2},                                 2,    0.004,    0.004},     %
 [ ]}.

{[{{mnesia_tm,arrange,3},                         1,    0.004,    0.004}],     
 { {ets,first,1},                                 1,    0.004,    0.004},     %
 [ ]}.

{[{{erl_lint,check_remote_function,5},            2,    0.004,    0.004}],     
 { {erl_lint,check_qlc_hrl,5},                    2,    0.004,    0.004},     %
 [ ]}.

{[{{mnesia_tm,multi_commit,4},                    1,    0.003,    0.003}],     
 { {mnesia_locker,release_tid,1},                 1,    0.003,    0.003},     %
 [ ]}.

{[{{mnesia,add_written_match,4},                  1,    0.003,    0.003}],     
 { {mnesia,add_match,3},                          1,    0.003,    0.003},     %
 [ ]}.

{[{{mnesia_tm,execute_transaction,5},             1,    0.003,    0.003}],     
 { {erlang,erase,1},                              1,    0.003,    0.003},     %
 [ ]}.

{[{{mnesia_tm,intercept_friends,2},               1,    0.002,    0.002}],     
 { {mnesia_tm,intercept_best_friend,2},           1,    0.002,    0.002},     %
 [ ]}.

{[{{mnesia_tm,execute_transaction,5},             1,    0.002,    0.002}],     
 { {mnesia_tm,flush_downs,0},                     1,    0.002,    0.002},     %
 [ ]}.

{[{{mnesia_locker,rlock_get_reply,4},             1,    0.002,    0.002}],     
 { {mnesia_locker,opt_lookup_in_client,3},        1,    0.002,    0.002},     %
 [ ]}.

{[ ],
 { undefined,                                     0,    0.000,    0.000},     %
 [{{shell,eval_exprs,6},                          0,   18.531,    0.000},      
  {{shell,exprs,6},                               0,    0.102,    0.024},      
  {{fprof,just_call,2},                           0,    0.034,    0.027}]}.

Answer 3

Mike Dunlavey 的建议让我想起了 redbug允许您对生产系统中的调用进行采样。将其视为一个易于使用的 erlang:trace，但它并没有给您足够的绳索来悬挂您的生产系统。

使用类似这样的调用应该会为您提供大量堆栈跟踪，以识别从何处调用您的 mnesia 事务：

redbug:start(10000,100,{mnesia,transaction,[stack]}).

不过，不可能获取这些跟踪的调用持续时间。

如果您已将所有 mnesia 查找组织到导出 api 来执行它们的模块中，您还可以使用 redbug 仅获取特定查询的调用频率。