关于jcseg的最多分词实现

发布于 2021-11-30 11:34:10 字数 287 浏览 992 评论 3

@狮子的魂 你好,想跟你请教个问题:

我现在想在jcseg基础上,加一个最多分词的功能,比如我想对“软件运行环境”进行分词,想要得到的结果类似这样的“软件、运行、软件运行、环境、运行环境”,现在的jcseg好像还不支持此功能。

我想自己尝试下,实现此功能,但是又没什么好的思路……

能给我提供一个好的思路吗,谢谢了哈。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

明媚如初 2021-11-30 20:56:30

写好了,就直接合并到jcseg主分支!

好听的两个字的网名 2021-11-30 20:45:47

引用来自“狮子的魂”的评论

哈,这个是我一直打算要加的功能!是下一个版本的计划,不过我还没开始开发!

我是打算做成一个配置选项,方便点的方式是做成另外一种切分模式!

建议你可以做成另外一种切分模式,也就是单独写个ISeg实现,这样实现方便些!

如果合并到现在的ASegment实现,思路初步有两个:

1, 记录mmseg切分过程中的全部组合,然后在追加到分词结果即可!

2. 中文二次切分,将切分过的中文在细化再切分。

我自己是打算使用第一种方式!

夜司空 2021-11-30 19:36:14

哈,这个是我一直打算要加的功能!是下一个版本的计划,不过我还没开始开发!

我是打算做成一个配置选项,方便点的方式是做成另外一种切分模式!

建议你可以做成另外一种切分模式,也就是单独写个ISeg实现,这样实现方便些!

如果合并到现在的ASegment实现,思路初步有两个:

1, 记录mmseg切分过程中的全部组合,然后在追加到分词结果即可!

2. 中文二次切分,将切分过的中文在细化再切分。

我自己是打算使用第一种方式!

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文