网页抓取时，如何判断一个页面是导航页面，还是正文页面

Question

在做网页抓取的时候 一般我们需要的是正文内容而不是导航页面的内容，那么该如何判断一个页面是导航页面，还是正文页面

例如 http://sky.news.sina.com.cn/   这是一个导航页面

http://sky.news.sina.com.cn/2013-10-10/094444474.html 这是一个正文页面

可以通过url进行判断我知道的，能不能通过分析页面源代码进行判断啊，比如说正文字数，主要区域链接个数等等

Answer 1

页面抓取完全是按照正则的规则去执行的，而正则定义完全是自己定义的~从理论上来说内容抓取是主观行为。
那就多匹配关键词：content、正文、mainbody 类似于的。
其实还真的没有更好的放！！！ 

Answer 2

。。。。。。你确定？

Answer 3

没有什么好办法,自己根据网页内容匹配吧