Google 抓取工具找到 robots.txt，但无法下载

Question

谁能告诉我这个 robots.txt 有什么问题吗？

http://bizup.cloudapp.net/robots.txt

以下是我收到的错误在谷歌网站管理员工具中：

Sitemap errors and warnings
Line    Status  Details
Errors  -   
Network unreachable: robots.txt unreachable
We were unable to crawl your Sitemap because we found a robots.txt file at the root of
your site but were unable to download it. Please ensure that it is accessible or remove
it completely.

实际上上面的链接是一个动作机器人的路线映射。该操作从存储中获取文件并以文本/纯文本形式返回内容。谷歌表示他们无法下载该文件。是因为这个吗？

Answer 1

看起来它正在读取 robots.txt，但您的 robots.txt 然后声称 http://bizup。 cloudapp.net/robots.txt 也是 XML 站点地图的 URL，实际上是 http ://bizup.cloudapp.net/sitemap.xml。该错误似乎来自 Google 尝试将 robots.txt 解析为 XML 站点地图。您需要将 robots.txt 更改为

User-agent: *
Allow: /
Sitemap: http://bizup.cloudapp.net/sitemap.xml

编辑。

它实际上比这更深入一些，Googlebot 根本无法下载您网站上的任何页面。以下是 Googlebot 请求 robots.txt 或主页时返回的异常：

此应用程序不支持 Cookieless 表单身份验证。

异常详细信息：System.Web.HttpException：无 Cookie 表单身份验证
此应用程序不支持。

[HttpException (0x80004005): Cookieless Forms Authentication is not supported for this application.]
AzureBright.MvcApplication.FormsAuthentication_OnAuthenticate(Object sender, FormsAuthenticationEventArgs args) in C:\Projectos\AzureBrightWebRole\Global.asax.cs:129
System.Web.Security.FormsAuthenticationModule.OnAuthenticate(FormsAuthenticationEventArgs e) +11336832
System.Web.Security.FormsAuthenticationModule.OnEnter(Object source, EventArgs eventArgs) +88
System.Web.SyncEventExecutionStep.System.Web.HttpApplication.IExecutionStep.Execute() +80
System.Web.HttpApplication.ExecuteStep(IExecutionStep step, Boolean& completedSynchronously) +266

FormsAuthentication 尝试使用无 cookie 模式，因为它认识到 Googlebot 不支持 cookie，但 FormsAuthentication_OnAuthenticate 方法中的某些内容会抛出异常，因为它不想接受无 cookie 身份验证。

我认为最简单的方法是更改​​ web.config 中的以下内容，这会阻止 FormsAuthentication 尝试使用无 cookie 模式...

<authentication mode="Forms"> 
    <forms cookieless="UseCookies" ...>
    ...

Answer 2

生成 robots.txt 文件的脚本有问题。当 GoogleBot 访问该文件时，它收到 500 Internal Server Error。以下是标头检查的结果：

REQUESTING: http://bizup.cloudapp.net/robots.txt
GET /robots.txt HTTP/1.1
Connection: Keep-Alive
Keep-Alive: 300
Accept:*/*
Host: bizup.cloudapp.net
Accept-Language: en-us
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

SERVER RESPONSE: 500 INTERNAL SERVER ERROR
Cache-Control: private
Content-Type: text/html; charset=utf-8
Server: Microsoft-IIS/7.0
X-AspNet-Version: 4.0.30319
X-Powered-By: ASP.NET
Date: Thu, 19 Aug 2010 16:52:09 GMT
Content-Length: 4228
Final Destination Page

您可以在此处测试标头 http://www.seoconsultants.com/tools/headers/#Report" rel="nofollow noreferrer">http://www.seoconsultants.com seoconsultants.com/tools/headers/#Report

Answer 3

我用一种简单的方法解决了这个问题：只需添加一个 robots.txt 文件（与我的 index.html 文件在同一目录中），以允许所有访问。我把它遗漏了，打算允许所有访问都以这种方式进行 - 但也许 Google 网站管理员工具随后找到了另一个由我的 ISP 控制的 robots.txt？

因此，至少对于某些 ISP 来说，即使您不想排除任何机器人，您也应该拥有一个 robots.txt 文件，只是为了防止这种可能的故障。

Answer 4

我获取您的 robots.txt 没有问题

User-agent: *
Allow: /
Sitemap: http://bizup.cloudapp.net/robots.txt

，但是它不是执行递归 robots.txt 调用吗？

站点地图应该是一个 xml 文件，请参阅 Wikipedia