如何让某些页面不被搜索引擎索引？

Question

我做到了：

<meta name="robots" content="none"/>

这是最好的方法吗？还是有更好的方法？

Answer 1

您可以在站点的根目录中创建一个名为 robots.txt 的文件。格式是这样的：

User-agent: (user agent string to match)
Disallow: (URL here)
Disallow: (other URL here)
...

示例：

User-agent: *
Disallow: /

将使（好的）机器人不会索引您网站上的任何内容。当然，有些机器人会完全忽略robots.txt，但对于那些尊重它的机器人来说，这是您最好的选择。

如果您想了解有关 robots.txt 文件的更多信息，请参阅 http://www.robotstxt.org/

Answer 2

您可以使用 robots.txt 文件来指示搜索引擎不要对哪些页面建立索引。

http://www.google.com/support /webmasters/bin/answer.py?hl=en&answer=156449

或者在每个页面中使用元 noindex 标记。