我可以在 robots.txt 中进行 301 重定向吗？
我有一个网站，其中包含大量旧链接，现在需要将其映射到新链接。 我们需要更新搜索引擎结果，以便旧的搜索结果消失并被替换。 由于 CMS，我们无法以编…
我可以在使用 htaccess 处理我的网站时使用 robots.txt
我在我的网站中使用 htaccess，这样对我网站的所有请求都将被重定向到我的根目录中的索引页面。我的网站中的其他文件无法访问，因为我的 htaccess 会…
robots.txt 限制搜索引擎索引指定关键字以保护隐私
我有一个很大的个人姓名目录以及通用的公开信息和类别特定信息，我希望在搜索引擎中尽可能多地索引这些信息。人们并不关心在网站上列出这些名字，但有…
Robots.txt http://example.com vs.http:// www.example.com
我遇到的情况是，我们有两个代码库需要保持完整。 例如：http://example.com。 以及一个新网站 http://www.example.com。 旧站点（无 WWW）支持一些遗…
如何使用robots.txt只允许爬虫访问index.php？
如果我只想允许爬虫访问index.php，这行得通吗？ User-agent: * Disallow: / Allow: /index.php …
robots.txt配置
我对这个 robots 文件有一些疑问。 User-agent: * Disallow: /administrator/ Disallow: /css/ Disallow: /func/ Disallow: /images/ Disallow: /inc/…
如何禁止所有动态网址 robots.txt
Closed. This question is off-topic. It is not currently accepting answers. 想要改进此问题吗？更新问题，使其关于- Stack Overflow 的主题。 12…
robots.txt 和通配符在末尾 od 不允许
Closed. This question is off-topic. It is not currently accepting answers. 想要改进此问题吗？更新问题，使其关于- Stack Overflow 的主题。 12…
如何在Plone中修改robots.txt？
我有一个由我管理的 Plone 站点，我想将一些页面添加到 robots.txt 的“禁止”中。 看来Plone会自动生成一个robots.txt文件。我找不到任何方法来修改…
如何禁止 robots.txt 中的搜索页面
我需要禁止 http://example.com/startup?page=2 搜索页面被索引。 我希望 http://example.com/startup 被索引，但不 http://example.com/startup?page…
Google Sitemap 和 Robots.txt 问题
我们的网站上有一个站点地图，http://www.gamezebo.com/sitemap.xml 网站管理员中心报告网站地图中的某些网址被我们的 robots.txt 阻止，请参阅 gamez…
如何配置 nginx 重定向到 robots.txt 和 robots.txt 的 url 站点地图.xml
我正在运行 nginx 0.6.32 作为 couchdb 的代理前端。 我的 robots.txt 在数据库中，可通过 http://www.example 访问.com/prod/_design/mydesign/robot…
sitemap.axd 是否被所有搜索引擎接受？
我当前正在使用 HttpHandler 动态生成站点地图文件，路径设置为 sitemap.axd。 然后返回 xml 内容。 我办公室里没有人确定所有搜索引擎是否都接受此扩…
robots.txt 的道德规范
Closed. This question is opinion-based. It is not currently accepting answers. 想要改进这个问题？更新问题，以便可以通过编辑这篇文章用事实和…
