Lucene：多词短语作为搜索词

Question

我正在尝试使用 Apache Lucene 制作可搜索的电话/本地企业目录。

我有街道名称、公司名称、电话号码等字段。我遇到的问题是，当我尝试按街道名称包含多个单词（例如“新月”）的街道进行搜索时，不会返回任何结果。但是，如果我尝试仅使用一个单词（例如“crescent”）进行搜索，我就会得到我想要的所有结果。

我使用以下内容对数据进行索引：

String LocationOfDirectory = "C:\\dir\\index";

StandardAnalyzer analyzer = new StandardAnalyzer(Version.LUCENE_34);
Directory Index = new SimpleFSDirectory(LocationOfDirectory);

IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE.34, analyzer);
IndexWriter w = new IndexWriter(index, config);


Document doc = new Document();
doc.add(new Field("Street", "the crescent", Field.Store.YES, Field.Index.Analyzed);

w.add(doc);
w.close();

我的搜索工作方式如下：

int numberOfHits = 200;
String LocationOfDirectory = "C:\\dir\\index";
TopScoreDocCollector collector = TopScoreDocCollector.create(numberOfHits, true);
Directory directory = new SimpleFSDirectory(new File(LocationOfDirectory));
IndexSearcher searcher = new IndexSearcher(IndexReader.open(directory);

WildcardQuery q = new WildcardQuery(new Term("Street", "the crescent");

searcher.search(q, collector);
ScoreDoc[] hits = collector.topDocs().scoreDocs;

我尝试将通配符查询交换为短语查询，首先使用整个字符串，然后将字符串拆分为空白并将它们包装在 BooleanQuery 中，如下所示:

String term = "the crescent";
BooleanQuery b = new BooleanQuery();
PhraseQuery p = new PhraseQuery();
String[] tokens = term.split(" ");
for(int i = 0 ; i < tokens.length ; ++i)
{
    p.add(new Term("Street", tokens[i]));
}
b.add(p, BooleanClause.Occur.MUST);

然而，这并没有奏效。我尝试使用 KeywordAnalyzer 而不是 StandardAnalyzer，但随后所有其他类型的搜索也停止工作。我尝试用其他字符（+ 和 @）替换空格，并将查询转换为这种形式或从这种形式转换查询，但这仍然不起作用。我认为它不起作用，因为 + 和 @ 是未索引的特殊字符，但我似乎无法找到类似字符的列表。

我开始有点生气，有人知道我做错了什么吗？

Answer 1

您没有取回文档的原因是，在索引时您使用的是 StandardAnalyzer，它将标记转换为小写并删除停用词。因此，为您的示例建立索引的唯一术语是“新月”。但是，不会分析通配符查询，因此“the”作为查询的强制部分包含在内。您的场景中的短语查询也是如此。

KeywordAnalyzer 可能不太适合您的用例，因为它将整个字段内容作为单个标记。您可以将 SimpleAnalyzer 用于街道字段 - 它将分割所有非字母字符的输入，然后将它们转换为小写。您还可以考虑将 WhitespaceAnalyzer 与 LowerCaseFilter 结合使用。您需要尝试不同的选项并找出最适合您的数据和用户的选项。

此外，您可以为每个字段使用不同的分析器（例如，使用 PerFieldAnalyzerWrapper）如果更改该字段的分析器会破坏其他搜索。

Answer 2

我发现在不使用 QueryParser 的情况下生成查询的尝试不起作用，因此我停止尝试创建自己的查询并改用 QueryParser。我在网上看到的所有建议都表明您应该在索引期间使用的 QueryParser 中使用相同的分析器，因此我使用 StandardAnalyzer 来构建 QueryParser。

这适用于此示例，因为 StandardAnalyzer 在索引期间从街道“新月”中删除了单词“the”，因此我们无法搜索它，因为它不在索引中。

但是，如果我们选择搜索“Grove Road”，那么开箱即用的功能就会出现问题，即查询将返回包含“Grove”或“Road”的所有结果。通过设置 QueryParser 使其默认操作是 AND 而不是 OR，可以轻松解决此问题。

最终，正确的解决方案如下：

int numberOfHits = 200;
String LocationOfDirectory = "C:\\dir\\index";
TopScoreDocCollector collector = TopScoreDocCollector.create(numberOfHits, true);
Directory directory = new SimpleFSDirectory(new File(LocationOfDirectory));
IndexSearcher searcher = new IndexSearcher(IndexReader.open(directory);

StandardAnalyzer analyzer = new StandardAnalyzer(Version.LUCENE_35);

//WildcardQuery q = new WildcardQuery(new Term("Street", "the crescent");
QueryParser qp = new QueryParser(Version.LUCENE_35, "Street", analyzer);
qp.setDefaultOperator(QueryParser.Operator.AND);

Query q = qp.parse("grove road");

searcher.search(q, collector);
ScoreDoc[] hits = collector.topDocs().scoreDocs;

Answer 3

@RikSaunderson 的解决方案用于搜索必须出现查询的所有子查询的文档，该解决方案仍在 Lucene 9 中使用。

QueryParser queryParser = new QueryParser(LuceneConstants.CONTENTS, new StandardAnalyzer());
queryParser.setDefaultOperator(QueryParser.Operator.AND);

Answer 4

如果你想要一个与街道完全匹配的单词，你可以设置字段“Street”NOT_ANALYZED，它不会过滤停止词“the”。

doc.add(new Field("Street", "the crescent", Field.Store.YES, Field.Index.Not_Analyzed);

Answer 5

这里不需要使用任何Analyzer，因为 Hibernate 隐式使用 StandardAnalyzer 它将根据空格分割单词，因此这里的解决方案已设置将Analyze设置为NO，它将自动执行多短语搜索

 @Column(name="skill")
    @Field(index=Index.YES, analyze=Analyze.NO, store=Store.NO)
    @Analyzer(definition="SkillsAnalyzer")
    private String skill;