谷歌站点地图在不同的服务器上

发布于 2024-12-04 11:16:34 字数 317 浏览 2 评论 0原文

问题

我有一个网络应用程序,它应该是一直被爬虫攻击的。他们中的大多数人都会遵循我们的谷歌站点地图来发现新的网址。我想将我的站点地图移动到不同的服务器,并使用 redis 后端来尝试卸载我的网络应用程序。我的站点地图很大,站点地图索引具有 N * 50.000 个网址,甚至对其进行缓存,这会损害我的网络服务器,当它已经处于大量使用状态时,会直接影响我的应用程序响应时间。

问题

  • 将我的站点地图移动到另一台服务器是否有意义?
  • 它会对我的谷歌排名产生负面影响吗?

problem

I have an web application, where as it should be, is hitted the whole time by crawlers. Most of them follows our google sitemap to discover new urls. I would like to move my sitemap to a different server, with a redis backend to try to offload my web app. My sitemap is huge, sitemap index with N * 50.000 urls and even caching it, it hurts my web server affecting direct my application response time when it is already under heavy usage.

questions

  • does it make sense to move my sitemaps to another server?
  • does it influence, negatively, some how, my google ranking?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

愁以何悠 2024-12-11 11:16:34

您的问题并不完全清楚 - 您的站点地图是否是为通过缓存的每个请求动态生成的?

如果是这样,那么我要做的第一件事就是使其尽可能静态。将其写入文件并静态提供它们。我假设您的大多数链接都不会改变,只是需要添加新页面。我过去解决这个问题的方法是将所有旧链接保留在静态文件中,添加运行一个后台进程,定期将新链接添加到新站点地图文件并将这些新文件添加到站点地图索引中。

另一件事:考虑存储那些已经 gzipp 的静态文件并按原样提供它们,以避免您的 Web 服务器一次又一次地动态 gzip 相同的大文件。

最后,如果提供静态站点地图仍然会给您的服务器带来负载,请考虑将其托管在 S3 或某些类似的服务上。由于它只是静态文件,因此您不需要另一个 Web 服务器,而且相比之下,S3 将是一个便宜得多的选择。

这些都不会影响您的页面排名。将应用程序分布在多个服务器上是处理负载的常见做法。

It's not entirely clear from your question - is your sitemap generated dynamically for every request that passes through the cache?

If so, then the first thing I'd do is make it as static as possible. Write it to files, and serve them statically. I assume that most of your links don't change and it's just new pages that need to be added. The way I solved this in the past was to keep all the old links in static files, add run a background process that periodically adds new links to new sitemap files and adds those new files to the sitemap index.

Another thing: consider storing those static files already gzipp'ed and serving them as-is to avoid having your web server gzipping the same huge files on the fly again and again.

Finally, if serving the static sitemap still creates a load on your server, consider hosting it on S3 or some similar service. Since it's just static files, you don't need another web server and S3 would be a much cheaper option compared.

None of this should affect your pagerank. Spreading your application across multiple servers is common practice to handle load.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文