有没有一种比站点地图更有效的方法来添加/强制重新抓取/删除您网站在谷歌中的索引条目？

Question

差不多就是这个问题。有没有一种比标准 sitemap.xml 更有效的方法来[添加/强制重新抓取/删除]，即管理您网站在谷歌中的索引条目？

我记得几年前我读过一篇不知名博主的文章，说当他在自己的网站上写新闻时，该新闻的url条目会立即出现在google的搜索结果中。我认为他提到了一些特别的事情。我不太记得具体是什么了...谷歌自己提供的一些自动重新抓取系统？不过，我对此并不确定。所以我问，您是否认为我自己犯了错误，除了 sitemap.xml 之外没有其他方法来管理索引内容？我只需要确定这一点。

谢谢。

Answer 1

我认为您不会找到您正在寻找的神奇“银弹”答案，但这里有一些可能有帮助的附加信息和提示：

• 爬行深度和爬行速度直接受 PageRank 影响（为数不多的因素之一）它确实有影响）。因此，增加网站主页和内部页面的反向链接数量和质量将对您有所帮助。
• QDF - 这个 Google 算法因素“查询值得新鲜”确实具有真正的影响，并且是 Google Caffeine 基础设施项目背后的核心原因之一，可以更快地查找新鲜内容。这是像 SE 这样的博客和网站表现良好的主要原因之一 - 因为内容是“新鲜的”并且与查询相匹配。
• XML 站点地图确实有助于索引，但不会带来更好的排名。使用它们来帮助搜索机器人查找架构深处的内容。
• Ping（尤其是通过博客）对监视站点变化的服务（如 ping-o-matic）确实可以帮助推送新内容的通知 - 这也可以确保搜索引擎立即意识到它。
• 抓取预算 - 请注意在网站中不会改变或不值得在索引中占据一席之地的部分上浪费搜索引擎的时间 - 使用 robots.txt 和 robots 元标记可以将搜索机器人集中到网站的不同部分您的网站（谨慎使用，以免删除高价值内容）。

其中许多主题都在网上讨论，但还有其他内在的东西，如导航结构、内部链接、网站架构等，它们也与任何“技巧”或“设备”一样贡献。

Answer 2

从好的网站获得许多链接到您的网站将使谷歌“蜘蛛”更快地到达您的网站。

来自 Twitter 等社交网站的链接也可以帮助爬​​虫访问您的网站（尽管 Twitter 链接不会传递“链接汁”——蜘蛛仍然会通过它们）。

最后一件事，定期更新您的内容，将内容视为“Google 蜘蛛食物”。如果蜘蛛来到你的网站，并且不会找到新的食物，他们不会很快再回来，如果每次来都有新的食物，他们就会来很多。例如，文章目录每天都会被索引多次。