短语查询和使用 shingle 过滤器有什么区别？

Question

我目前正在使用 lucene 索引网页。目的是能够快速提取哪个页面包含某个表达（通常是 1、2 或 3 个单词），以及该页面中还包含哪些其他单词（或其中 1 到 3 个单词的组）。 这将用于构建/丰富/更改同义词库（固定词汇）。

从我找到的文章来看，问题似乎是找到 n-grams （或卵石）。

Lucene 有一个 ShingleFilter ，一个ShingleMatrixFilter,和一个ShingleAnalyzerWrapper,这似乎与此任务相关。

从这个演示中，我了解到Lucene还可以搜索以固定数字分隔的术语单词（称为 slops）。 此处提供了一个示例。

但是，我不清楚这些方法之间的区别？它们是根本不同的，还是您必须做出的性能/索引大小选择？

ShingleMatrixFilter和ShingleFilter有什么区别？

希望 Lucene 大师能够找到这个问题，并回答;-)！

Answer 1

使用短语与木瓦之间的差异主要涉及性能和评分。

在索引中存在单个单词的典型情况下使用短语查询（例如“foo bar”）时，短语查询必须遍历“foo”和“bar”的倒排索引并找到包含这两个术语的文档，然后在每个文档中遍历他们的位置列表，以查找“foo”出现在“bar”之前的位置。

这对性能和评分都有一定的成本：

1. 必须对位置（.prx）进行索引和搜索，这就像倒排索引的附加“维度”，这会增加索引和搜索时间
2. 因为只有单个术语出现在倒排索引中，没有计算出真正的“短语 IDF”（这可能不会影响您）。因此，这是根据 IDF 项的总和进行近似计算的。

另一方面，如果您使用 shingles，您也​​会对单词 n-gram 进行索引，换句话说，如果您的 shingles 大小达到 2，那么索引中还会有诸如“foo bar”之类的术语。这意味着对于这个短语查询，它将被解析为简单的 TermQuery，而不使用任何位置列表。由于它现在是一个“真正的术语”，因此 IDF 短语将是准确的，因为我们确切地知道这个“术语”存在多少文档。

但使用 shingles 也有一些成本：

1. 增加术语词典、术语索引和发布列表大小，尽管这可能是一个公平的权衡，特别是如果您完全使用 Field.setIndexOptions 完全禁用位置。
2. 在索引分析阶段会产生一些额外成本：尽管ShingleFilter 优化得很好并且速度相当快。
3. 没有明显的方法来计算“草率短语查询”或不精确的短语匹配，尽管这可以近似，例如对于带有大小为 2 的带状疱疹的“foo bar baz”短语，您将有两个标记：foo_bar，bar_baz 并且您可以实现通过 lucene 的一些其他查询（如 BooleanQuery）进行搜索以获得不精确的近似值。

一般来说，使用 Shingles 或 CommonGrams 之类的词索引只是一种权衡（相当专业），以降低位置查询的成本或增强短语评分。

但是这个东西有现实世界的用例，这里有一个很好的例子：
http://www.hathitrust.org/blogs/大规模搜索/慢速查询和常用词-第 2 部分