算法-百度新闻首页的算法？

Question

像百度新闻首页这种应用是如何做到自动抓取新闻，差归类（应该不是人工的吧）。如何判断一篇文章属于哪个分类？ 一般要用到哪方面的知识？

Answer 1

抓取部分就不用说了吧

自动分类基本上都是关键词在里面出现的频率、权重等进行归类的。
首先定义分类各关键词的权重：
政治类：国家（0.3）、政协（0.5），香港0.01。。。。。
娱乐类：某明星0.1，香港0.2。。。。

有一条新闻：里面国家出现M次，香港出现N次
计算各个新闻最终的权重。

如果发现新闻在政治类里面算出来的结果大，则是政治新闻，如果在娱乐类里算出来的数大，就是娱乐新闻。

不知道能不能看懂。。。。。。。

Answer 2

1、必须要有一组原始数据集，这组数据集是已经正确分好类的新闻，往往可以从新浪、网易这些门户网站购买到。

2、通过一些文本相似度算法，计算某一篇新的新闻与哪些已有新闻的相似度最大，把该新闻分类过去就行了。这个过程通常称为“机器学习 分类问题”，最简单的可以使用朴素贝叶斯分类器。

3、要了解更多，可以参考这篇文章。