Google不索引网站 - 说＆＃x27;由Robots.txt＆＃x27; - 但是robots.txt允许所有爬行者 - 两个不同的托管服务的相同问题

Question

我已经构建并发布了很多网站，但从未遇到以下问题：

Google没有索引我的网站。每当我提交页面（在Google搜索控制台中）时，它都会说“ 被robots.txt 封锁” 用户代理： *和允许：/）。可以通过myDomain.com/robots.txt访问robots.txt，并且可以通过mydomain.com/sitemap访问站点的站点。

我已经尝试了两个不同的托管提供商： dreamhost.com 和 fastcomet.com 。但是，这个问题仍然存在，我看不出原因。这些域已在 namecheap.com 上注册，从那以后我一直在许多其他网站上使用。

我使用 grav cms - 一个了不起的扁平flile cms-通常是完美无缺的，我认为我不认为CMS引起了问题。

以下是Google搜索控制台中Google错误消息的屏幕截图。显然， robots.txt不能是罪魁祸首，因为允许爬网访问。

最后，甚至在Google的搜索结果中都没有出现域名。通常，Google会显示一个没有附带描述等的域，如果不允许爬网。