Robots.txt - 如何设置规则不使用参数索引页面
我们最近在网页上添加了一个新部分。本质上，它是一个购物产品目录，允许过滤不同的属性 - 帮助访问者将结果缩减到他们需要的内容。 这些参数被传递到…
如何阻止 Google App Engine 上的搜索引擎
如何阻止 Google App Engine 网站上的搜索引擎机器人？是否有管理/配置程序，或者您是否应该使用普通的 robots.txt 文件 - 如果是后者，您如何让 GAE …
robots.txt内容本身是否被索引？
Closed. This question is off-topic. It is not currently accepting answers. 想要改进此问题吗？更新问题，使其关于- Stack Overflow 的主题。 12…
为 ASP.NET MVC 站点创建 robots.txt
我正在为我的网站创建一个 robots.txt 文件，但查看我的项目结构，我不确定要禁止什么。 我是否需要禁止标准 .NET MVC 目录和文件，例如 /App_Data、/…
阻止网站 Flash 播放器配置信息显示在 Google 上
我之前尝试过问这个问题，但我仍然没有得到该问题的有效答案，所以我再次询问...... 我有一个正在运行 WordPress 的网站。 主页有一个嵌入式 Flash 播…
根据URL参数限制Google机器人的访问
例如，我有以下链接： http://broodds.com/index.php/en/component/bet/?view=oddsdetails&bet_id=4e9dc53b96df3&odds=q1 如果view是oddsdetails，我…
是否可以通过robots.txt控制抓取速度？
我们可以在 robots.txt 中告诉机器人抓取或不抓取我们的网站。另一方面，我们可以控制Google Webmasters中的抓取速度（Google bot抓取网站的速度）。…
Robots.txt 允许子文件夹但不允许父文件夹
任何人都可以解释以下场景的正确 robots.txt 命令。 我想允许访问： /directory/subdirectory/.. 但我也想限制对 /directory/ 的访问，而不考虑上述例…
使用 robots.txt 文件从 Google 列表中删除页面
这是正确的方法吗 - 下面是我的 txt 文件，这会阻止 Google 索引我的管理目录以及 oldpage.php 吗？ User-agent: * Allow: / Disallow: /admin/ Disal…
robots.txt 仅适用于文件/目录，还是也适用于 URL？
我可以使用 robots.txt 来停止对 images/html 文件的文件夹进行索引。但是动态页面又如何呢，例如阻止某些 WordPress 页面建立索引？…
robots.txt htaccess块Google
在我的.htaccess文件中： Order deny,allow Deny from all 这否认了任何文本文件被读取，但是Google搜索引擎给我以下错误： robots.txt Status http:/…
如何阻止用户访问网站中的robots.txt文件？
我需要阻止用户访问我网站中的 robots.txt 文件。我不确定是否将 robots.txt 添加到 htaccess 中的 301 重定向，Google 可能会丢弃 robots.txt，所以…
Visual Studio 是否支持编辑 Robots.txt？
在 VS2010 中应用的任何 robots.txt 修订都会使用 BOM 保存文件，这基本上会导致 Google 拒绝它，并显示 '语法无法理解'错误。有一个与此相关的问题，…
通过 php 告诉使用 if 语句和搜索引擎蜘蛛进行重定向？
我的网站几乎所有页面都是用户访问的，如果不是用户且未登录，他们根本无法访问这些页面。 搜索引擎蜘蛛是否仍然能够列出、抓取和索引这些用户页面，…
防止搜索引擎索引路径中包含 3 个或更多正斜杠的页面
如何防止搜索引擎索引路径中包含 3 个或更多正斜杠的页面？ 例如： www.example.com/about.html ->ok www.example.com/1/2/3/4/5/test.html -> no ind…
