Htaccess/robots.txt 允许搜索机器人探索主域,但不能探索其他域上的目录

发布于 2024-09-01 01:09:12 字数 1459 浏览 6 评论 0原文

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

月依秋水 2024-09-08 01:09:12

添加一个即可

User-agent: *
Disallow: /siteB

只需在主域根目录的 robots.txt 中 。所有有礼貌的机器人都会接受这一点,但根据它们访问您网站的频率,您可能需要等待一段时间,搜索引擎才会更新其数据库。

此外,您可以将带有重定向规则的 .htaccess 添加到 /siteB/...,将使用 siteA 域完成的请求重定向到 http ://siteB/...这将使每个人都使用 规范 域,即使他们浏览到不​​太受欢迎的域。

Just put a

User-agent: *
Disallow: /siteB

in the robots.txt in the root of your main domain. All bots that have manners will accept this, but depending on the frequency they visit your site you might have to wait a bit before the search engines update their datbases.

Additionally you could add a .htaccess with a redirect rule to /siteB/... that redirects requests that have been done using the siteA domain to http://siteB/... This will make everyone use the canonical domain even if they browse to the lesser-favored one.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文