robots设置全部禁止,但是页面meta用index,follow有何效果?
网站使用了wordpress,之前wp每天都被大量ip扫描,扫描的都是wp特有的目录,比较针对。后来把robots删掉了,没想到没再被恶意扫描了。这样保持了大概1周,访问都很正常。但是发现搜索引擎收录了不该收录的目录和文件,于是又把robots加上了,这次用的是Disallow: /wp-a*/ 这种,但是恶意扫描又来了,每天都是几千几千的,依旧针对的是wp特有的目录,我设置了每分钟404页面超过10次就封掉ip,但是ip不断,也就是亡羊补牢的感觉。
我现在想法是robots设置全部禁止,但是页面<meta name="robots" content="index,follow">
会有何效果?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论