向大家咨询一个问题：关于 robots.txt

Question

1、写法一

User-agent: *
Disallow: /

拦截整个网站

2、写法二

User-agent: *
Disallow:

写法二呢？是不规范？拦截所有？不拦截？

Answer 1

禁止所有搜索引擎收录网站任何页面的语法为：
User-agent: *
Disallow: / 

允许所有搜索引擎收录网站任何页面的语法为：
User-agent: *
Disallow:

差别：
Disallow:后面没有内容，表示不指定禁止的内容，也就是全部允许。

 

另外robots.txt不是摆设, robots.txt作为SEO时候，会用到。百度和Google的SEO方法不同，所以有时候SEO会引导不同的搜索引擎收录不同内容，也就是根据不同搜索引擎指引它们搜索不同页面，就可以用robots.txt了。

     对SEO的人来说robots.txt可是个宝，更具体的说就是某些页面的优化方式可能对百度是喜欢的，对google是不喜欢的，这样可以让百度访 问，让google不可访问（不收录）;同样有些页面的优化方式对google是友好的，可对百度，它觉得你是不友好的，甚至觉得你是作弊，所以这样的内 容就不让百度访问。其它搜索引擎类似。。。。

 

如以下只允许百度蜘蛛访问，不允许其它搜索引擎收录：

User-agent: baiduspider
Disallow:

User-agent: *
Disallow: /

Answer 2

我也想知道

Answer 3

引用来自#3楼“红薯”的帖子

全站禁用搜索引擎啊？那不如搞个必须登录才能访问，否则就如二楼说的，多数爬虫是不看这个文件的。

Answer 4

全站禁用搜索引擎啊？那不如搞个必须登录才能访问，否则就如二楼说的，多数爬虫是不看这个文件的。

Answer 5

robots.txt 现在几乎成了摆设了，只有大的搜索引擎会遵循，其他直接忽视