将所有文档与 Perl 的 Text::DocumentCollection 中的其他文档进行比较

Question

给定 Perl 中 Text::DocumentCollection 中的文档集合，我想使用 余弦相似度 href="https://metacpan.org/module/Text::Document" rel="nofollow noreferrer">Text::Document。

我认为这可能可以使用 EnumerateV 和回调来完成，但我无法弄清楚具体细节。 （这个问题很有帮助，但我仍然卡住了。）

具体来说，假设集合存储在 test.db 中，如下所示：

#!/usr/bin/perl -w
use Text::DocumentCollection;
use Text::Document;

$c = Text::DocumentCollection->new( file => 'test.db' );

my $text = 'Stack Overflow is a programming | Q & A site that’s free. Free to ask | questions, free to answer questions|, free to read, free to index';

my @strings = split /\|/, $text;
my $i=0;

foreach (@strings) {
    my $doc = Text::Document->new();
    $doc->AddContent($_);
    $c->Add(++$i,$doc);
}

现在假设我需要读取 test.db 并计算所有组合的余弦相似度的文件。 （除了通过存储的数据库文件之外，我无法访问在上面的代码中创建的文档。）

我认为答案是构造一个通过 EnumerateV 中的回调访问的子例程，并且我猜测子例程也调用了 EnumerateV 但我还没能弄清楚。

Answer 1

您可能想从这样的事情开始：

$c->EnumerateV(sub {
    my ($c, $k1, $d1) = @_;
    $c->EnumerateV(sub {
        my ($c, $k2, $d2) = @_;
    return if exists $dist{$k1.$k2};
    $dist{$k1.$k2} = $dist{$k2.$k1}= cosine_dist($d1, $d2);
    });
});