WordPress 如何避免被收录重复页面

Question

使用 WordPress 也有一段时间，每天写写博客，发发文章，分享一些设计心得和设计，可是伴随的问题也来了，今天用 site 语法查了网站的收录量，百度竟然达到了2080，网站文章根本就没有那么多，搜索引擎的索引量也没有那么多，那么就可能存在很多重复的页面，这些页面的收录降低了网站权重，之前设置的 robots.txt 文件可能没有设置正确，并没有屏蔽掉这个动态页面。

WordPress 默认会有一个 robots.txt，这个文件是伪静态的，访问地址就在根目录。

但是通过现在的设置，应该能屏蔽掉百度收录重复页面。 这些动态的页面谷歌对其反应不是很大，但是百度却很勤快，一个劲的猛收录，只能屏蔽掉这些重复页面，才能把权重集中起来，当然，如果百度的数据库内存在网站大量的重复页面也不是一件好事，收录越多越好，但是不代表收录重复页面。 我们可以通过设置 robots.txt 来屏蔽掉搜索引擎蜘蛛来抓取这些页面：

User-agent: *
Disallow: /*/feed
Disallow: /*/*/feed
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /*/comment-page
Disallow: /trackback/
Disallow: /*/trackback
Disallow: /*?*
Disallow: /index.php?p=*

Disallow: /index.php/down_help/
Disallow: /index.php/feedbook/
Disallow: /index.php/archives/*
Disallow: /index.php/down_help/page/*
Disallow: /index.php?column=*

Sitemap: http://www.wenjiangs.com/sitemap.xml

另外不要着急，一时半会肯定没有效果，需要等待搜索引擎更新。