当前位置：文江博客话题详情

使用 python nltk 查找两个网页之间的相似性？

发布于 2024-11-13 07:58:19 字数 88 浏览 5 评论 0原文

我想知道两个网页是否相似。有人可以建议带有 wordnet 相似性函数的 python nltk 是否有帮助以及如何帮助？在这种情况下使用的最佳相似度函数是什么？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

娇柔作态 2024-11-20 07:58:19

joyceschan 提到的 spotsigs 论文解决了内容重复检测问题，它包含有很多值得深思的地方。

如果您正在寻找关键术语的快速比较，nltk 标准函数可能就足够了。

使用nltk，您可以通过查找WordNet包含的同义词集来提取术语的同义词。

>>> from nltk.corpus import wordnet

>>> wordnet.synsets('donation')
[Synset('contribution.n.02'), Synset('contribution.n.03')]

>>> wordnet.synsets('donations')
[Synset('contribution.n.02'), Synset('contribution.n.03')]

它可以理解复数形式，还可以告诉您哪个词性对应于 Synsets 的同义词

存储在树中，更具体的术语位于叶子，更通用的术语位于根。根术语称为 hypernyms

您可以通过术语与常见 hypernym 的接近程度来衡量相似性

根据 NLTK 手册，请注意不同的词性它们没有重叠的路径，因此您不应该尝试测量它们之间的相似性。

比如说，您有两个术语捐赠和礼物，您可以从 synsets 获取它们，但在本例中我直接初始化它们：

>>> d = wordnet.synset('donation.n.01')
>>> g = wordnet.synset('gift.n.01')

cookbook 推荐 Wu-Palmer 相似性方法

>>> d.wup_similarity(g)
0.93333333333333335

这种方法为您提供了一种快速方法来确定所使用的术语是否对应于相关概念。请查看使用 Python 进行自然语言处理，看看您还可以做些什么来帮助您分析文本。

The spotsigs paper mentioned by joyceschan addresses content duplication detection and it contains plenty of food for thought.

If you are looking for a quick comparison of key terms, nltk standard functions might suffice.

With nltk you can pull synonyms of your terms by looking up the synsets contained by WordNet

>>> from nltk.corpus import wordnet

>>> wordnet.synsets('donation')
[Synset('contribution.n.02'), Synset('contribution.n.03')]

>>> wordnet.synsets('donations')
[Synset('contribution.n.02'), Synset('contribution.n.03')]

It understands plurals and it also tells you which part of speech the synonym corresponds to

Synsets are stored in a tree with more specific terms at the leaves and more general ones at the root. The root terms are called hypernyms

You can measure similarity by how close the terms are to the common hypernym

Watch out for different parts of speech, according to the NLTK cookbook they don't have overlapping paths, so you shouldn't try to measure similarity between them.

Say, you have two terms donation and gift, you can get them from synsets but in this example I initialized them directly:

>>> d = wordnet.synset('donation.n.01')
>>> g = wordnet.synset('gift.n.01')

The cookbook recommends Wu-Palmer Similarity method

>>> d.wup_similarity(g)
0.93333333333333335

This approach gives you a quick way to determine if the terms used correspond to related concepts. Take a look at Natural Language Processing with Python to see what else you can do to help your analysis of text.

回复收藏 0 原文