如何使用通配符阻止机器人对此进行索引？
我有以下 URL 格式：
example.com/page/m6aoeh/embed
想阻止任何机器人使用 URL /page/*/embed 索引任何页面
我 我假设有某种方法可以阻止通配符 URL，但只是不确定在这种特殊情况下如何执行。
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
如果您只是想告诉机器人
/page/文件夹下的所有内容都不应该被机器人索引，请使用 robots.txt 排除标准。创建一个如下所示的/robots.txt：如果您希望机器人索引
/page文件夹下的某些页面而不是其他页面，则需要添加 << 中的 href="http://www.robotstxt.org/meta.html" rel="nofollow">标记 /code> 到您想要的每个页面排除。If you simply want to indicate to bots that everything under the
/page/folder should not be indexed by bots, use the robots.txt exclusion standard. Create a/robots.txtthat looks like this:If you want bots to index some pages under the
/pagefolder but not others, you'll need to add a<meta>tag in the<head>to each page you want to exclude.