robots.txt 书写疑问
目前内容页面的首页为 www.xxx.com/t.html ,翻页后为 www.xxx.com/t-#.html (* 为 ID ,# 为页码)。我想要搜索引擎只收录内容页面的首页,而不收录第二页和第三页,那么我在 robots.txt 里写下了如下的规则,请问正确吗?否则应该如何书写?谢谢。
Disallow: /t-*.html
Allow: /t*.html
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论