根据URL参数限制Google机器人的访问
例如，我有以下链接： http://broodds.com/index.php/en/component/bet/?view=oddsdetails&bet_id=4e9dc53b96df3&odds=q1 如果view是oddsdetails，我…
Googlebot 正在访问 .aspx 页面，它应该仅访问 SEO 友好的 URL
Googlebot 正在访问我网站中的 .aspx 页面，例如 http://mysite。 com/thepage.apx?id=32 我已将 Intelgencia URL 模块用于 SEO 友好的 URL，并且我的…
什么是 monodoc.ashx 以及为什么 googlebot 需要它？
我收到了大量的请求。它们都以 /1.1/handlers/monodoc.ashx?link= .NET 类的形式开始。这些是什么以及为什么 googlebot 要求它们？ 我需要将其关闭，…
PHP 警告：preg_match() [function.preg-match]：未知修饰符
任何人都知道为什么会出现这种情况？尝试使用它来根据用户代理重定向用户。当用户代理是搜索机器人时，会出现此警告。此外，Windows XP MSIE 8 用户代…
忽略 Rack::Cache 的 googlebot？
我正在使用 Rack::Cache，并且 google 搜索机器人会触发我所有的缓存未命中，因此我的缓存始终充满了实际上并不代表我网站上最受欢迎的页面的页面，我…
如何告诉 Google 该目录不再存在？
我基于 Joomla 创建了与健康相关的网站。 我创建了 Google 网站管理员帐户，并了解 Google 如何对我的网站建立索引。 但后来我看到谷歌索引了一些目录…
Googlebot 可以访问 MVC2/3 ChildActionOnly 控制器方法吗？
如果这个问题已经有几个月了，并且我认为我在应用程序的早期版本中向 Googlebot 展示了该控制器方法。但最近添加了新的 - LatestNews 还标有 [ChildAc…
Googlebot 和 JavaScript
我的问题是googlebot是否可以跟踪通过javascript onchange函数重定向的页面： 示例： page1 page2 document.getElementById("bla").onchange = functi…
谷歌机器人，虚假链接
我对谷歌机器人有一个小问题，我有一个在 Windows Server 2009 上运行的服务器，名为 Workcube 的系统，它在 Coldfusion 上运行，有一个内置的错误报…
我需要等待多长时间才能让 googlebot 再次扫描我的网站？
在我的网站统计中，我看到谷歌爬虫已经扫描了我的网站一次，不幸的是我的网站正在建设中，一些之前更改过的信息已经过时了。我试图让自己了解 googleb…
