robots.txt 限制搜索引擎索引指定关键字以保护隐私

Question

我有一个很大的个人姓名目录以及通用的公开信息和类别特定信息，我希望在搜索引擎中尽可能多地索引这些信息。人们并不关心在网站上列出这些名字，但有些人在“谷歌”自己时不想出现在搜索结果中。

我们希望继续在页面中列出这些名称，并且仍然索引该页面，但不在搜索引擎中索引指定的名称或关键字。

可以逐页完成吗？还是设置两个页面是更好的解决方法：

可用选项：

• PHP 可以审查关键字
• 如果 user-agent=robot/search engine htaccess， strong> 将机器人限制为未经审查的内容，但允许第二个审查版本
• 元标记定义不索引的单词？
• JavaScript 可能会对机器人隐藏关键字，但仍可查看

Answer 1

我将仔细检查这些选项并告诉您一些我可以看到的问题：

PHP： 如果您不介意信任用户代理，这会很好地工作。我不确定一些搜索引擎将如何对其机器人显示的不同内容做出反应。

htaccess：您可能需要将机器人重定向到其他页面。您可以使用 url 参数，但这与使用纯 PHP 解决方案没有什么不同。机器人会索引其重定向到的页面，而不是您希望访问的页面。您也许可以使用重写引擎来解决这个问题。

元标记：即使您可以使用元标记让机器人忽略某些单词，也不能保证搜索引擎不会忽略它，因为元标记没有设定的“标准” 。但这并不重要，因为我没有任何方法让机器人使用元标签忽略某些单词或短语。

JavaScript：我听说过的机器人在查看页面时都不会执行（甚至读取）JavaScript，所以我认为这不起作用。您可以向使用 JavaScript 的用户显示您想要隐藏的内容，机器人将无法看到它，但禁用 JavaScript 的用户也看不到它。

我会走 PHP 路线。

Answer 2

您可以通过添加 ROBOTS 元 告诉机器人跳过索引特定页面：

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

更新：限制的方法我能想到的特定单词的索引是：

1. 使用JS将它们添加到页面（见下文）。
2. 将模块添加到服务器，该模块将从呈现的页面中删除这些单词。

JavaScript 可能是这样的：

<p>
  <span id="secretWord">
    <SCRIPT TYPE="text/javascript">
    <!-- 
       document.write('you can protect the word by concating strings/having HEX codes etc')
    //-->
    </script>
  </span>
</p>

---

服务器模块可能是最好的选择。在 ASP.NET 中，做到这一点应该相当容易。但不确定 PHP。

Answer 3

从您的帖子中不清楚的是，您是否想要保护您的姓名和关键字免受 Google 或所有搜索引擎的侵害。谷歌总体表现良好。您可以使用 ROBOTS 元标记 来防止该页面被索引。但它不会阻止忽略 ROBOTS 标签的搜索引擎为您的网站建立索引。

您未建议的其他方法：

• 使用客户端 JavaScript 获取页面内容。
• 强制用户在显示文本之前执行验证码。我推荐 reCAPTCHA 包，它很容易使用。

在所有这些方法中，reCAPTCHA 方法可能是最好的，因为它还可以防止行为不端的蜘蛛。但这对您的用户来说是最繁重的。