从 Mnesia 获取大量数据 - 最快的方法

Question

我有一个记录：

-record(bigdata, {mykey,some1,some2}).

做一个

mnesia:match_object({bigdata, mykey, some1,'_'})

最快的方式获取超过5000行？

澄清： 创建“自定义”键是一种选择（这样我就可以进行读取），但是在一个键上进行 5000 次读取比 match_object 更快吗？

Answer 1

我很好奇你正在解决的问题，表中有多少行等等，如果没有这些信息，这可能不是一个相关的答案，但是......

如果你有一个包，那么最好对键使用 read/2，然后遍历返回的记录列表。如果可能的话，最好对数据进行结构化以避免选择和匹配。

一般来说，select/2 优于 match_object，因为它可以更好地避免全表扫描。另外，假设您不需要事务支持，则 dirty_select 将比 select/2 更快。而且，如果您可以忍受这些限制，Mensa 允许您直接对照基础 ets 表，这非常快，但请查看文档，因为它仅适用于非常罕见的情况。

Answer 2

Mnesia 更多的是一个键值存储系统，它会遍历所有记录来获取匹配。

为了快速获取，应该设计存储结构来直接支持查询。将 some1 作为键或索引。然后通过read或index_read获取它们。

Answer 3

返回超过 5000 行的语句最快方式取决于所讨论的问题。数据库结构是什么？我们想要什么？记录结构是什么？之后，就归结为如何编写读取函数。如果我们确定主键，那么我们使用 mnesia:read/1 或 mnesia:read/2 如果没有，使用 查询列表理解。搜索嵌套记录和复杂条件查询更加灵活。请参阅下面的用法：

-include_lib("stdlib/include/qlc.hrl").
-record(bigdata, {mykey,some1,some2}).


%% query list comprehenshions
select(Q)->
    %% to prevent against nested transactions
    %% to ensure it also works whether table
    %% is fragmented or not, we will use
    %% mnesia:activity/4

    case mnesia:is_transaction() of
        false -> 
            F = fun(QH)-> qlc:e(QH) end,
            mnesia:activity(transaction,F,[Q],mnesia_frag);
        true -> qlc:e(Q)
    end.

%% to read by a given field or even several
%% you use a list comprehension and pass the guards
%% to filter those records accordingly

read_by_field(some2,Value)->
    QueryHandle = qlc:q([X || X <- mnesia:table(bigdata),
                        X#bigdata.some2 == Value]),
    select(QueryHandle).

%% selecting by several conditions

read_by_several()->
    %% you can pass as many guard expressions

    QueryHandle = qlc:q([X || X <- mnesia:table(bigdata),
                            X#bigdata.some2 =< 300,
                            X#bigdata.some1 > 50
                            ]),
    select(QueryHandle).

%% Its possible to pass a 'fun' which will do the 
%% record selection in the query list comprehension

auto_reader(ValidatorFun)->
    QueryHandle = qlc:q([X || X <- mnesia:table(bigdata),
                        ValidatorFun(X) ==  true]),
    select(QueryHandle).

read_using_auto()->
    F = fun({bigdata,SomeKey,_,Some2}) -> true;
            (_) -> false
        end,
    auto_reader(F).

所以我认为如果您想要最快的方法，我们需要更多的说明和问题细节。亲爱的，速度取决于很多因素！