Facebook 的 BigPipe 和 SEO：伪装？

Question

我对 非常感兴趣Facebook 的 BigPipe 技术，用于改善显示网页时的用户体验。缺点是它很大程度上基于 Javascript，而且对搜索引擎一点也不友好。

当在我自己的网站上开发类似的技术时，我设计了它，以便可以很容易地在服务器端禁用它以提供更多标准页面，而无需启用 BigPipe。现在，我正在寻找一种使其对爬虫友好的方法。

• 简单的方法是将非 BigPipe 内容提供给搜索引擎爬虫/机器人，并将管道内容提供给其他内容。这不应被视为隐藏：内容完全相同，布局相同（在执行 BigPipe 的 javascript 之后）。唯一改变它的交付方式，使其对爬虫更加友好。但 Google 会认为这是合法的吗？

• 第二种方法是使用另一个 Javascript 来解决这个问题。在第一个请求中，发送非 BigPipe 页面，其中包含一些将保存一些 cookie 的 Javascript。在后续请求中，仅当存在 cookie 时才发送 BigPipe 内容。第一个页面加载不会被优化，但其他页面会被优化。看起来是一个很好的解决方案，但我真的不喜欢乘以 cookie。

• 第三种方法是传输 BigPipe 内容，不像 Facebook 那样使用 HTML 注释，而是使用 标签。这将使 pagelet 看起来像：

  
  ;
  
  
  而不是 Facebook 的方法：
  
  ;
  ;
  
  
  这看起来很棒，简单，既适合爬虫又适合用户。但这对我来说似乎有点hackish，并且在 IE 7/8 中不起作用，因为 noscript 标记的内容在 DOM 中被忽略。对于这些浏览器来说，这将涉及一些肮脏的特殊情况。

然后，我更仔细地研究了 Facebook 的业务。似乎他们也在做同样的事情。页面在我的浏览器中进行了优化，但不在 Google 的缓存中。我尝试清除所有浏览器缓存和 cookie，并再次请求该页面。不管怎样，我一直通过 BigPipe 获取内容。他们没有使用任何基于 cookie 的技术。

那么，问题很简单：Facebook 是如何做到这一点的？第一种方法是否会被视为隐藏，或者它只适用于 Facebook，因为它是 Facebook？或者我错过了什么？

谢谢。

Answer 1

简单的答案是 Facebook 歧视搜索机器人并为它们提供不同的内容。这可以通过用户代理（正如我认为您在 Q 中暗示的那样）或通过查找 IP 地址来查看它是否与 Google 地址范围匹配。

我更喜欢完全静态版本，因为它还允许您优化速度，谷歌（也许还有其他人）将其包含在其索引中。