Solr 中 StandardTokenizerFactory 和 KeywordTokenizerFactory 之间的区别？

Question

我是 Solr 新手。我想知道何时使用 StandardTokenizerFactory 和 KeywordTokenizerFactory？

我阅读了 Apache Wiki 上的文档，但我不明白。

谁能解释一下 StandardTokenizerFactory 和 KeywordTokenizerFactory 之间的区别？

Answer 1

标准TokenizerFactory：-
它对空白进行标记，并去除字符

文档：-

在标点符号处拆分单词，删除标点符号。
然而，后面没有空格的点被认为是
一个令牌。在连字符处分割单词，除非单词中有数字
令牌。在这种情况下，整个代币将被解释为产品
数且未分割。识别电子邮件地址和互联网
主机名作为一个令牌。

将其用于要搜索字段数据的字段。

例如 -

http://example.com/I-am+example?Text=-Hello

将生成 7 个标记（以逗号分隔） -

http,example.com,I,am,example,Text,Hello

KeywordTokenizerFactory :-

Keyword Tokenizer 根本不会拆分输入。
不对字符串执行任何处理，整个字符串被视为单个实体。
这实际上并没有进行任何标记化。它将原始文本作为一个术语返回。

主要用于排序或分面需求，您希望在过滤多个单词和排序时匹配确切的分面，因为排序不适用于标记化字段。

例如

http://example.com/I-am+example?Text=-Hello

会生成一个令牌 -

http://example.com/I-am+example?Text=-Hello