搜索引擎robot.txt
我想添加一个 robots.txt，以便可以找到我的网页...
所以我听说将带有元标记的 robot.txt 放在我的根中网站可以做到这一点。
- 这是真的吗？如果是，
- 添加或生成这个 robots.txt 的步骤是什么？
我找到了这个
I want to add a robot.txt so my web page can be found...
So I have heard that putting a robot.txt with meta tags in the root of my site can do this.
- Is this true?, if so,
- What would be the steps to add or generate this robot.txt?
I have found this
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
Robots.txt 更多的是告诉爬虫一旦到达您的网站，就可以去哪里，不可以去哪里。
让爬虫进入您网站的更好方法是为您的网站构建一个 站点地图，然后使用 < a href="https://www.google.com/webmasters/tools/" rel="nofollow">Google 网站站长 将此站点地图提交给 Google。您还需要在网站的根网址中包含站点地图，并告诉谷歌它的位置（所有这些都可以在上面链接的谷歌网站管理员工具中完成）。
Robots.txt is more for telling the crawlers where to and where to not go once they've already reached your site.
A better way to get crawlers onto your site is to build a sitemap for your site, then use Google Webmaster to submit this sitemap to google. You'll also want to include the sitemap on your site's root url and tell google where it is (all of this can be done in Google's Webmaster Tool linked to above).
不，它不会让您的网页突然可见。它只是指示网络爬虫如何为您的网站建立索引。
http://www.robotstxt.org/
No, it won't make your webpage suddenly visible. It just instructs web crawlers on how to index your site.
http://www.robotstxt.org/