jcseg和solr.HTMLStripCharFilterFactory有冲突

Question

@狮子的魂 你好，想跟你请教个问题：我在建立索引时，想通过solr.HTMLStripCharFilterFactory过滤html标签，但是在使用Analysis测试时发现jcseg失效了，把solr.HTMLStripCharFilterFactory移除后又正常了。这是怎么回事？

Answer 1

嗯，是的，我也发现了这个问题，但是不知道有什么好的解决方案，请教一下，您处理过这个问题？

Answer 2

不是jcseg的问题，你用其他的分词如cjk也一样

Answer 3

引用来自“狮子的魂”的评论

不好意思，我自己也没有用过solr，不过你给的图片告诉我jcseg在开启HTMLStripCharFilterFactory过滤之后没有任何切分输出，我可以确定的是：只要有输入jcseg是一定会有输出的，原因只有一个就是给Jcseg的输入流是不可用的或者已经到达了流末尾。

##推测可能是HTMLStripCharFilterFactory是从输入流逐步过滤html代码，等过滤完后，将已经到达流尾的Reader给了Jcseg，然后没有切分。

具体：你可以在org.lionsoul.jcseg.ASegment#next方法中加入输出测试代码(简单的输出一些东西就Ok了)，查看过滤掉html之后的输出流，是否多次调用了next方法，如果没有说明给定的流是已经到达了末尾。