lex词库中的重复数据会不会影响分词速度？

Question

@狮子的魂 你好，想跟你请教个问题：我在使用jcseg进行分词中，发现lex会出现很多重复的词。这些重复的词会不会影响分词速度？有什么好的解决办法吗？

Answer 1

lex指词库吗？

如果是词库，不会影响切分速度的，Jcseg会在加载词库时自动过滤掉重复的词条。