Hibernate Search ShingleAnalyzerWrapper 工作示例

Question

我正在使用 hibernate-search-3.2.1.Final 并希望将我的输入解析为带状疱疹。从我在文档中看到的，ShingleAnalyzerWrapper 似乎正是我所需要的。我已经使用 WhitespaceAnalyzer、StandardAnalyzer 和 SnowballAnalyzer 作为 ShingleAnalyzerWrapper 的默认分析器进行了测试。

Version luceneVersion = Version.LUCENE_29;
SnowballAnalyzer keywordAnalyzer= new SnowballAnalyzer(luceneVersion, "English", StopAnalyzer.ENGLISH_STOP_WORDS_SET);
ShingleAnalyzerWrapper shingleAnalyzer = new ShingleAnalyzerWrapper(keywordAnalyzer, 4);
shingleAnalyzer.setOutputUnigrams(false);
QueryParser keywordParser = new QueryParser(luceneVersion, "keyword", keywordAnalyzer);
Query keywordQuery = keywordParser.parse(QueryParser.escape(keyword.toLowerCase()));

然而，查询返回空。我期待像“你好世界，这是 Lucene”这样的关键字会导致带状疱疹 [这是你好世界，世界这是 lucene，这是 lucene]

让我知道我对 ShingleAnalyzerWrapper 的期望和用法是否正确。

谢谢， 瑞安

Answer 1

也许这是复制/粘贴错误，但在您的代码片段中，shingleAnalyzer 实际上并未被使用，因为您将变量 keywordsAnalyzer 传递给查询解析器。您在索引时使用什么分析器？

如果您使用过滤掉停用词的分析器作为ShingleAnalyzerWrapper的委托分析器，停用词（示例中的“this”和“is”）将在shingle分析器有机会从中创建shingles之前被删除。

调试分析器的一个好方法是使用类似“Lucene in Action”中描述的AnalyzerUtils之类的东西。您可以在此处获取示例代码： http://java .codefetch.com/example/in/LuceneInAction/src/lia/analysis/AnalyzerUtils.java

尼基塔

Answer 2

谢谢尼基塔！是的，这是一个复制粘贴错误，尽管正确的版本仍然会产生正确的结果。

您在AnalyzerUtils 上的链接很有帮助，因为我能够使用以下代码生成Shingles：

ShingleAnalyzerWrapper shingleAnalyzer = new ShingleAnalyzerWrapper(4);
shingleAnalyzer.setOutputUnigrams(false);

TokenStream stream = shingleAnalyzer.tokenStream("contents", new StringReader("red dress shoes with black laces"));
ArrayList tokenList = new ArrayList();
while (true) {
    Token token = null;
    try {
        token = stream.next();
    } catch (IOException e) {
        e.printStackTrace();  
    }
    if (token == null) break;
        tokenList.add(token);
}

生成：

[(red dress,0,9,type=shingle), (red dress shoes,0,15,type=shingle,posIncr=0), (red dress shoes black,0,26,type=shingle,posIncr=0), (dress shoes,4,15,type=shingle), (dress shoes black,4,26,type=shingle,posIncr=0), (dress shoes black laces,4,32,type=shingle,posIncr=0), (shoes black,10,26,type=shingle), (shoes black laces,10,32,type=shingle,posIncr=0), (black laces,21,32,type=shingle)]

问题不在于ShingleAnalyzerWrapper 本身，而在于QueryParser。我需要更多的挖掘来找出根本原因，但你让我知道了从哪里开始。