@林良益 你好,想跟你请教个问题:
下面这个程序,使用IKanalyzer进行分词,“你好啊”像这样的“X好啊”形式的词都会出现把X删掉,只出现“好啊”,如下面:
我觉得,分词的话应该不能删减原话,所以想这个是不是IKAnalyzer处理的问题。
代码在:http://yunpan.cn/cAXgwHbqMXfjp 访问密码 e3cd
知道了,参考的项目里有个stopword.dic,之前不理解这是什么用处。现在明白了,出现在这个文件里的关键字将会被删掉
定义dic是为了解决有些分词不正确的问题吧。现在这不是分词正不正确的问题了。 分词的话,不管划分得正不正确,都不能删减原话,而这里删了第一个字
要是分个词少几个字,那就麻烦了
你可以自己定义dic嘛
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
暂无简介
文章 0 评论 0
接受
发布评论
评论(4)
知道了,参考的项目里有个stopword.dic,之前不理解这是什么用处。现在明白了,出现在这个文件里的关键字将会被删掉
定义dic是为了解决有些分词不正确的问题吧。现在这不是分词正不正确的问题了。 分词的话,不管划分得正不正确,都不能删减原话,而这里删了第一个字
要是分个词少几个字,那就麻烦了
你可以自己定义dic嘛