是否可以阻止搜索引擎使用某些查询字符串参数索引页面
我正在使用 asp.net DataPager 并注意到搜索引擎无法抓取创建的链接，因此我添加了一个查询字符串参数，现在看到它可以抓取链接。
我现在遇到的问题是，它最终会在同一页面上出现多个网址。
是否可以停止搜索引擎使用查询字符串参数对所有页面进行索引，例如：
?pg=
这样搜索引擎将跟踪这些链接，但不会索引：
http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate?pg=3
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation?pg=6
但会索引：
http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation
感谢您的帮助
J.
I am using the asp.net DataPager and noticed that search engines wouldn't be able to crawl the links created, so I added a querystring parameter and now see that it could crawl the links.
The problem I now have is that it will now eventially end up with multiple urls for the same page.
Is it possible to stop search engines indexing all pages with the query string parameter such as:
?pg=
so the search engine will follow these links but not index:
http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate?pg=3
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation?pg=6
but would index:
http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation
Thanks for any help
J.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
我很确定您可以通过 robots.txt 实现这一点。
通过 google，您可以指定要使用网站管理员工具排除的参数。
您还可以捕获用户代理并在它是机器人时简单地使页面崩溃......
I'm pretty sure you can achieve that with a robots.txt
With google you can specify parameters you want to exclude with the webmaster tools.
You could also trap the useragent and simply crash the page when it's a bot ...