哪种分析仪适合我的情况？休眠搜索案例

Question

我们正在运行一个书籍搜索应用程序。它是通过hibernate搜索实现的。

书籍实体定义如下：

@Entity
@Indexed
public class Book{
@DocumentId
private Integer UID;
@Field
private String title;

@Field
private String description;
...}

如果用户搜索书籍名称，例如输入Microsoft access 2007，则返回标题或描述包含microsoft、access 或2007 的书籍。这正是我们所期望的。由于关键字 2007，有些书完全不相关。我正在寻找一种解决方案来了解每个关键字的重要性。在这种情况下，2007 年在搜索中的重要性就不那么重要了。但对于该搜索，对于 microsoft、access 或 2007 没有区别。

第二个用户案例：是否有一个好的分析器可以用于索引和查询以支持多个短语？我认为休眠搜索的默认分析器只是将搜索词标记为单个单词？

如果搜索词是 microsoft access 2007，如果结果包含“microsoft access”，则结果得分最高，

其他搜索示例：“盐湖城”、“美国”，如果仅匹配 salt、city 或 Lake 或 at，则不会出现预期结果至少，他们应该落后于“盐湖城”的成绩。

有人可以给我一些线索吗？

谢谢！

Answer 1

Lucene 应该已经忽略了频繁出现的术语，因此不能很好地区分文档。如果您想增强这种效果，您有几种选择：

1. 更改默认的相似度函数，并使用新函数对术语进行不同的加权
2. 通过首先查找查询中低 df（高 idf）术语的数量包含给定术语的文档，并相应地调整该术语的权重
3. 编写一个分类器，可以先验地决定哪些术语不会那么有效（例如，年份数字），并相应地调整其权重
4. 使用 WordNet 或 Wikipedia 等内容作为分类器词组来源（例如，领导技能），您将其索引为单个标记。这将涉及由分析器配置的修改后的 TokenStream。

Answer 2

我不知道如何区分 2007 年的好酒和坏酒。

您可以做的一件事是使用忽略数字进行描述的分析器，但使用常规分析器进行标题。这样，只会选取标题中的数字。实际上，它不是一个完整的分析器，而是一个简单的过滤器，您可以编写它并将其添加到分析器堆栈中。

您还可以对描述进行两次索引，一次忽略数字，一次不忽略它们。然后，您可以在查询时使用提升因子来搜索这两个字段，但给予带有数字的字段较低的优先级。

另一个解决方案是忽略自定义过滤器中的一些数字模式（即年份样式数字、单位数字等）：这些将是您想要忽略的最常见的嘈杂数字类型（我认为这就是我首先要考虑的） ）。

至于短语搜索，只需使用 Lucene 的 PhraseQuery 或使用更友好的 Hibernate Search DSL，

Query luceneQuery = mythQB
   .phrase()
   .onField("history")
   .matching("Thou shalt not kill")
       .createQuery();

查询 DSL 的整个文档为 此处