我应该将实际的 .aspx 文件/路径放入 Robots.txt 或路由中吗？
我正在开发一个 asp.net (4.0) Web 表单应用程序，并为我的所有 URL 使用路由。 我不确定是否应该将条目放入我的 robots.txt 中，如下所示：（
Disallow: /forum/editpost.aspx
实际路径/文件名）
或如下：
Disallow: /forum/edit-post
我假设是后者，因为这就是我所有页面的方式网上引用了，但认为检查一下更安全。
I am developing an asp.net (4.0) web forms application and am using Routing for all my Urls.
I'm unsure as to whether I should be putting entries in my robots.txt like this:
Disallow: /forum/editpost.aspx
(Actual path/filename)
OR like this:
Disallow: /forum/edit-post
I'm assuming it's the latter as that's how all my pages are referenced on the web, but thought it safer to check.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
假设您从不通过物理路径引用页面并且不想通过物理路径引用页面（因为您正在使用路由），则不需要将物理页面放入 robots 文件中，因为爬虫永远不会找到它们。
因此，您只需要禁止路由路径即可。如果您担心自己不小心在网站某处的链接中使用了物理路径，我想您可以为了安全起见而禁止物理页面（希望一次性）。
Under the assumption that you never reference pages by the physical path and do not want to reference pages by the physical path (since you are using routing), you do not need to put physical pages into the robots file since the crawler will never find them.
As such you just need to disallow the routed paths. If you worry that you've accidentally used a physical path in a link somewhere on your site, I suppose you can disallow physical pages just to be safe (hopefully in one shot).
使用任何 Googlebot 等。将看到他们何时索引页面。 Robots.txt 不会在您的服务器端执行、解析或处理。
Use whatever Googlebot et al. will see when they index the page. Robots.txt is not executed, parsed or processed on your server-side.