如何使 Google 可以抓取我的 AJAX 内容？

Question

我一直在开发一个大量使用 jQuery 并通过 AJAX 加载内容的网站，如下所示：

$('#newPageWrapper').load(newPath + ' .pageWrapper', function() {
    //on load logic
}

现在我注意到 Google 不会通过 Javascript 索引任何动态加载的内容，因此我一直在寻找解决方案到问题。

我已经通读了 Google 的使 AJAX 应用程序可抓取文档大约 100 遍我仍然不明白如何实现它（很大程度上是由于我对服务器的了解有限）。

所以我的第一个问题是：

• 是否有您知道的一个不错的分步教程，从头到尾记录了这一点？我尝试用谷歌搜索它，但没有找到任何有用的东西。

其次，如果还没有任何东西，任何人都可以解释：

1. 如何“设置我的服务器来处理 请求包含以下内容的 URL _escaped_fragment_'

2. 如何实现 HtmlUnit 我的服务器创建一个 'HTML 要显示给的页面的快照' 爬虫。

如果有人能为我阐明这一点，我将非常感激，提前致谢！

-本

Answer 1

最好的解决方案是创建一个可以使用或不使用 JavaScript 的网站。阅读有关渐进增强的文章。

Answer 2

我找不到替代方案，所以我采纳了 epascarello 的建议，现在如果 URL 包含“_escaped_fragment_”（如果爬虫访问，URL 将包含该内容），我将使用 php 生成内容

对于那些搜索：

<?php

    if(isset($_GET['_escaped_fragment_'])){

        $newID = $_GET['_escaped_fragment_'];

        //Generate page here
    }

?>

Answer 3

如今，这个问题通常可以通过使用一项服务来解决，该服务插入 Google 方案的实现，用于 制作 AJAX应用程序可在网络服务器级别抓取。您不必再自己做这件事了。

我在以下公司之一工作：https://ajaxsnapshots.com（还有其他公司）