修改通过标准标记生成器生成的标记

Question

我试图了解标准分词器的工作原理。下面是我的 tokenizerFactory 文件中的代码：

package pl.allegro.tech.elasticsearch.index.analysis.pl;

import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.standard.StandardTokenizer;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.env.Environment;
import org.elasticsearch.index.IndexSettings;
import org.elasticsearch.index.analysis.AbstractTokenizerFactory;

public class UrlTokenizerFactory extends AbstractTokenizerFactory {

    public UrlTokenizerFactory(IndexSettings indexSettings, Environment environment, String name, Settings settings) {
        super(indexSettings, name, settings);
    }

    @Override
    public Tokenizer create() {
        StandardTokenizer t = new StandardTokenizer();
        return t;
    }
}

我想修改通过标准标记生成器生成的每个标记。例如，只是为了测试我是否可以修改令牌；我想在每个标记的末尾添加一个“a”或任何其他字符。我尝试使用“+”运算符在上述创建函数的返回语句中连接令牌末尾的“a”字符，但它不起作用。有人知道如何实现这个吗？

Answer 1

您可以定义模式替换字符过滤器< /a> 使用自定义分析器。这将添加 _a 以及生成的所有令牌，您无需在 Java 代码中更新它。

POST _analyze
{
  "text": [
    "Stack overflow"
  ],
  "tokenizer": "standard", 
  "char_filter": [
    {
      "type": "pattern_replace",
      "pattern": "(\\S+)",
      "replacement": "$0_a"
    }
  ]
}

输出：

{
  "tokens" : [
    {
      "token" : "Stack_a",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "overflow_a",
      "start_offset" : 6,
      "end_offset" : 14,
      "type" : "<ALPHANUM>",
      "position" : 1
    }
  ]
}