对网站列表进行分类的最佳方法是什么？

Question

我有一个需要以某种方式分类的 X 站点列表。该网站是关于汽车、健康、产品还是关于一切（wikihow、about.com 等？）对此类网站进行分类的更好方法是什么？我应该获取为网站带来流量的关键字并使用它们吗？我应该阅读一些随机页面的内容并据此进行判断吗？

Answer 1

如果网站设计得很好，标题中就会有专门用于此的元标记。

Answer 2

雅虎有一个API来提取术语， http://developer.yahoo.com/ search/content/V2/termExtraction.html

“术语提取 Web 服务提供从较大内容中提取的重要单词或短语的列表。它是 Y!Q 中使用的技术之一。”

Answer 3

也许我有点偏见（免责声明：我拥有图书馆学学位，这个主题是我获得学位的原因之一），所以最简单的答案是没有最好的方法。

就像数据库设计一样考虑这一点——一旦你的系统被填充，你会问它什么样的问题？

该网站由政府运营这一事实是否重要？或者它使用闪光灯？或者页面是蓝色的？或者说这是一个爱好者网站？或者目标受众是儿童？

然后我们会遇到这样的问题：是否要为我们所关心的任何方面建立一个层次类别 - 如果既涉及汽车又涉及摩托车，我们是否应该使用术语“车辆” ' 反而？如果我们这样做，我们是否会使用关键字扩展，以便“摩托车”也匹配更广泛的术语（即车辆）？

所以......重点是......弄清楚你的需求是什么，并朝着这个目标努力。即使经过多年的改进，“最好”也永远不会到来（如果有的话，它会变得更加困难，因为术语开始改变含义。还记得“博客”何时与网络服务器指标相关吗？）

Answer 4

这是一个很难回答的问题。考虑：

• 您希望分类的粒度如何？
• 您希望根据您自己的标准还是网站提供的标准对网站进行分类？ 换句话说，如果某个网站将自己归类为“摩托车维护的主要来源”，您是否要专门为该网站创建“摩托车维护”类别？当然，这会导致您的列表变得不一致。但是，如果您按照自己的分类方案对站点进行分类，则会丢失信息，并且存在站点与您定义的任何类别不匹配的风险。
• 您允许子类别吗？如果是这样，问题就会变得更加复杂。
• 一个网站可以属于多个类别吗？如果是，是否有排序或权重（即主要类别、次要类别等），或者您是否遵循类似于 SO 标签的方案？

作为解决这个问题的初步尝试，我想我应该定义一组类别，然后蜘蛛抓取每个站点，跟踪每个类别名称出现的次数或其突变。然后，您可以选择“点击”次数最多的名称。

例如，给定以下类别：

{ "Cars", "Motorcycles", "Video Games" }

从站点抓取以下文本块：

这个标题与尤金·赫里格尔 (Eugen Herrigel) 所著的《射箭艺术中的禅》一书的书名不协调。波西格在介绍中解释说，尽管有这个标题，“它绝不应该与正统禅宗佛教修行相关的大量事实信息联系在一起。对于摩托车来说，它也不是很真实。 ”

和：

自 1980 年以来制造的大多数摩托车如果维护得当，都相当可靠，但这是一个很大的假设。在某种程度上，当今摩托车的高可靠性对许多骑手来说是不利的。一些骑手误以为摩托车就像现代汽车一样，基本上不需要维护。事实并非如此（即使是汽车）。现代自行车比 60 年代和 70 年代需要的维护更少，但它们仍然比汽车需要更多的维护。这种更高的可靠性也意味着有一大群摩托车手不知道如何骑自行车或真正需要做什么来确保可靠性。

我们得到以下分数：

{ "Cars" : 3, "Motorcycles" : 4, "Video Games" : 0 }

因此，我们可以将该网站归类为主要与“摩托车”相关。

请注意，我在类别名称中提到了“其突变”，因此“摩托车”或“汽车”都被检测到。我们可以从中看出，您也许还应该考虑使用相关单词列表。例如，也许我们应该在搜索“摩托车”实例时检测“摩托车手”一词。也许我们也应该看看“现代自行车”。

您还可以保存这些点击，也许将它们与其他一些数据结合起来，并使用贝叶斯概率来确定该网站最有可能属于哪个类别。