python实现两篇文章相似度分析

发布于 2022-09-04 18:57:19 字数 117 浏览 14 评论 0

如题,最近有需求要做文章相似度分析,需求很简单,具体就是对比两篇分别300字左右的文章的相似度情况,目前查到的方法,需要先中文分词(jieba),然后对比相似度,时间紧任务重,不知道有没有做过类似功能的大神可以指点一二的

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

残疾 2022-09-11 18:57:19

第一步你已经给出了,首先对文章进行中文分词,然后计算每个词在两篇文章中的tf-idf值。然后计算两个文章的余弦相似度,可以用Python中的gensim实现。

有疑问请继续提问。

吾性傲以野 2022-09-11 18:57:19

补一下一楼的答案
在食用余弦相似性或TF-IDF,应该首先去掉停止词。

停止词,是由英文单词:stopword翻译过来的,原来在英语里面会遇到很多a,the,or等使用频率很多的字或词,常为冠词、介词、副词或连词等。
因为副词,连词这类词语并不会十分影响我们对语义的判断。

但是单纯的余弦相似性和TF-IDF某种情况下并不能十分的可靠。
推一波自己的链接2333这里

建议使用textrank和以上算法进行结合

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文