防止通过 .htaccess 直接访问 robots.txt
我想阻止用户访问我的 robots.txt 文件，但我仍然希望搜索引擎能够读取它。是否可以？ 如果是的话我该怎么做？我相信如果我在 .htaccess 中编写以下内…
如何通过 robots.txt 排除特定文件夹
我想从搜索引擎的索引中排除任何文件夹中名为“ajax”的所有子文件夹。 示例： .com/a/ajax .com/b/ajax .com/c/ajax 这可以通过 robots.txt 实现吗？…
Windows 服务器重定向问题
我正在处理一些使用 Windows 服务器的客户端，因此不支持 .htaccess 文件。这不是什么大问题，但我担心的是： 我在 .htaccess 文件中设置了一条规则，…
我可以允许（通过搜索引擎）对受限内容建立索引而不将其公开吗？
我有一个包含一些受限内容的网站。我希望我的网站出现在搜索结果中，但不希望它公开。 有没有一种方法可以允许爬虫爬行我的网站，但阻止它们将其公开…
为什么谷歌索引这个？
可能的重复： 为什么 Google 将此索引编入索引？ 在此网页中： http://www.alvolante.it/news/pompe_benzina_âtruccateâ _autostrada-308391044 …
为什么谷歌索引这个？
Closed. This question is off-topic. It is not currently accepting answers. 想要改进此问题吗？更新问题，使其关于- Stack Overflow 的主题。 13…
如何阻止搜索引擎索引所有以 origin.domainname.com 开头的网址
我有 www.domainname.com、origin.domainname.com 指向相同的代码库。有没有办法，我可以阻止所有基本名称 origin.domainname.com 的 url 被索引。 ro…
robots.txt 如何禁止除站点地图中的 URL 之外的所有 URL
Closed. This question is not about programming or software development. It is not currently accepting answers. 这个问题似乎不是关于特定的编…
机器人.txt；什么编码？
Closed. This question needs to be more focused. It is not currently accepting answers. 想要改进这个问题？通过编辑这篇文章来更新问题，使其仅…
robots.txt 和 .htaccess 中的 Mod 重写
在 robots.txt 文件中，我将禁止网站的某些部分。 例如，我不希望我的“条款和条件”被搜索引擎索引。 User-agent: * Disallow: /terms 该文件的真实…
spring SimpleUrlHandlerMapping 到 robots.txt
我正在使用 spring 框架，以下是 url 到控制器的映射 <bean id="urlMapping" class="org.springframework.web.servlet.handler.SimpleUrlHandlerMap…
即使使用 htaccess 重定向，googlebot 也会索引我的 index.php 吗？
在我的 htaccess 文件中使用重定向语句，在地址栏中输入以下内容的人... http://example.com/index.php ...将被重定向到... http://example.com/ 我的…
这个 robots.txt 是否只允许 googlebot 为我的网站建立索引？
此 robots.txt 文件是否只允许 googlebot 索引我网站的 index.php 文件？注意，我有一个 htaccess 重定向，输入 http://www.example.com/index.php 的…
