网页聚类的特征选取

Question

对大规模网页(包含中文)进行结构聚类，一套模板或者非常相似的模板生成的网页分为一类，这方面有没有什么好的算法或者网页的特征怎么选取？哪些算法时间复杂度较低的？

Answer 1

特征可以考虑:

1. 网页的domain, /的个数, /分隔的每部分是什么(单词/纯数字/字母加数字), 这样给每部分打上tag. 比如www.abc.com/item/item-12345.html就是www.abc.com/单词/字母数字符号.html
   然后可以在这个基础上去统计分布, 算字符串的编辑距离等等

kmeans需要指定k啊, 在对数据整体情况不了解的情况下, 如何设置k就很麻烦
可以尝试一下类似层次聚类的东西, 直接开始迭代

Answer 2

只是个人YY，按照标签结构构建一棵树，计算下相似度

Answer 3

用k-means吧