Ajax 生成内容、爬行和黑名单

Question

我的网站使用ajax。

我有一个用户列表页面，其中列出了 ajax 表中的用户（带有分页和更多信息内容...）。

该页面的网址是： /user-list

用户列表由ajax创建。当用户点击一个用户时，他会被重定向到一个页面，该页面的url为： /member/memberName

因此我们可以在这里看到ajax用于生成内容而不是管理导航（使用#字符）。

我想检测机器人来索引所有页面。

因此，在 ajax 中，我想显示一个带有分页和很酷的 ajax 效果的 ajax 表（更多信息...），当我检测到机器人时，我想显示所有用户（不分页），并带有指向会员页面的链接，如下所示：

<a href="/member/john">John</a><a href="/member/bob">Bob</a>...

您认为使用这种技术可以将我列入黑名单吗？如果您这么认为，您能否通过保留这些干净的网址而不重新开发用户列表（不使用ajax）来提供替代解决方案？

Answer 1

Google 支持使 AJAX 可抓取的规范：

http://code.google.com/ web/ajaxcrawling/docs/specation.html

我做了一个实验，它有效：

http://seo-website-designer.com/SEO-Ajax-Google-Solution

由于这是 Google 规范，因此您不会受到处罚（除非您滥用它）。

话虽如此，目前只有谷歌支持它（AFAIK）。

另外，我相信遵循渐进增强的概念是更好的方法。也就是说，创建一个可用的 html 网站，然后使用 JavaScript 对其进行增强

Answer 2

也许使用带有 onclick 的 url 来触发 AJAX 脚本？就像

<a href="/some/url" onclick="YourFancyFunction();return false;">Some URL</a>

我不认为 Google 会因此惩罚你一样，你主要使用 JScript，但你确实为他们的机器人提供了后备，因此你的网站的可访问性不会受到任何影响。

编辑
好吧，我误会了。那么我的猜测是你基本上有两个选择：
1. 编写网站中机器人最终出现的不同部分，或者，
2. 重写当前站点，例如始终提供“完整”页面，并可选择仅获取内容 div。然后你只能用 JavaScript 获取内容，但机器人总是会得到一个不错的页面。