这个robots.txt是什么意思?它不允许任何机器人吗?

发布于 2024-12-01 00:52:24 字数 454 浏览 5 评论 0原文

User-agent: *
Disallow:
Disallow: /admin
Disallow: /admin
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

我在我网站的根文件夹之一中找到了这个 robots.txt 文件。我不知道我成功了,也不知道是谁成功了。

我认为该文件不允许任何机器人管理文件夹。这很好。

但我想知道这是否会阻止所有机器人访问我网站中的所有文件?

我已经用这个文件更改了它:

User-agent: *
Disallow: /admin
Allow: /
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

ps:这个网站很长一段时间没有得到任何索引。是旧文件的问题吗?

User-agent: *
Disallow:
Disallow: /admin
Disallow: /admin
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

I've found this robots.txt file in one of my website's root folder. I don't know i made it or who.

I think this file does not allow any robots to admin folder. This is good.

But i wonder if this blocks all robots to all files in my website?

I've changed it with this file:

User-agent: *
Disallow: /admin
Allow: /
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

ps: this website is not getting any index for a long time. was the old file problem?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

苍暮颜 2024-12-08 00:52:24

除了重复的 /Admin 条目之外,旧脚本是正确的。没有允许:命令,并且空的“禁止:”向机器人打开该站点。

http://www.free-seo-news.com/all -about-robots-txt.htm

具体来说,请检查“您应该避免的事情”下的第 7 项和“提示和技巧”下的第 1 项

The old script, other than the duplicate /Admin entry, was correct. There is no Allow: command, and an empty 'Disallow:' opens the site up to robots.

http://www.free-seo-news.com/all-about-robots-txt.htm

Specifically, check item #7 under 'Things you should avoid' and #1 under 'Tips and Tricks'

神魇的王 2024-12-08 00:52:24

可能吧。我以与您相同的方式阅读了您的旧文件 - 该 root 被禁止。无论哪种方式,您的新机器人文件都会按照我期望的方式设置。

Possibly. I read your old file the same way you did - that root was being disallowed. Either way, your new robots file is set up how I expect that you want it.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文