Lucene PorterStemmer 问题

Question

给出以下代码：

Dim stemmer As New Lucene.Net.Analysis.PorterStemmer()
Response.Write(stemmer.Stem("mattress table") & "<br />") // Outputs: mattress t
Response.Write(stemmer.Stem("mattress") & "<br />") // Outputs:  mattress
Response.Write(stemmer.Stem("table") & "<br />") // Outputs: tabl

有人可以解释为什么当单词中有空格时 PorterStemmer 会产生不同的结果吗？我原以为“床垫桌”会被词干为“床垫桌”。

另外，以下代码进一步令人困惑：

Dim parser As Lucene.Net.QueryParsers.QueryParser = New Lucene.Net.QueryParsers.QueryParser("MyField", New PorterStemmerAnalyzer)
Dim q As Lucene.Net.Search.Query = parser.Parse("mattress table")
Response.Write(q.ToString & "<br />") // Outputs:  MyField:mattress MyField: tabl

q = parser.Parse("""mattress table""")
Response.Write(q.ToString & "<br />") // Outputs My Field:"mattress tabl"

有人可以解释为什么我使用相同的分析器从 QueryParser() 和 Stem() 函数得到相同单词的不同结果吗？

谢谢， 凯尔

Answer 1

查询解析器首先将其标记为两个标记。波特认为这一切都是一个“词”，因此只提取最后一部分。

Answer 2

PorterStemmerAnalyzer 由一系列分词器和过滤器组成。 PorterStemmer 是生成令牌流的过滤器之一。如果您想验证这一点，请尝试更改查询的大小写。由于 tokenstream 上的 LowerCaseFilter，QueryParser 输出将为小写。

可以在此处查看自定义分析器的一些示例代码。这将使您了解分析器的内部情况。