帮助正确创建robots.txt
我有这样的动态网址。
mydomain.com/?pg=登录
mydomain.com/?pg=reguser
mydomain.com/?pg=aboutus
mydomain.com/?pg=termsofuse
当页面被请求时。 mydomainname.com/?pg=login index.php 包含 login.php 文件。
一些 url 会转换为静态 url，例如 mydomain.com/aboutus.html mydomain.com/termsofuse.html
我需要允许索引 mydomainname.com/aboutus.html、mydomainname.com/termsofuse.html 并禁止 mydomainname.com/?pg=login、mydomainname.com/?pg=reguser，请帮助管理我的 robots.txt 文件。
我还有 mydomainname.com/posted.php?details=50 （详细信息可以有任何数字），我将其转换为 mydomainname.com/details/50.html 我还需要允许所有此类网址。
I have dynamic urls like this.
mydomain.com/?pg=login
mydomain.com/?pg=reguser
mydomain.com/?pg=aboutus
mydomain.com/?pg=termsofuse
When the page is requested for ex. mydomainname.com/?pg=login index.php include login.php file.
some of the urls are converted to static url like
mydomain.com/aboutus.html
mydomain.com/termsofuse.html
I need to allow index mydomainname.com/aboutus.html, mydomainname.com/termsofuse.html
and disallow mydomainname.com/?pg=login, mydomainname.com/?pg=reguser, please help to manage my robots.txt file.
I have also mydomainname.com/posted.php?details=50 (details can have any number) which I converted to mydomainname.com/details/50.html
I need also to allow all this type of urls.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
如果您只想为静态页面建立索引，您可以使用以下命令：
这将禁止所有包含问号的 URL。
如果您希望继续索引 posts.php?details=50 个 URL，并且您有一组有限的参数您希望禁止，您可以为每个参数创建一个禁止条目，如下所示：
或者只是阻止以 / 开头的所有内容？
您可以使用这样的工具来测试 URL 样本，看看它是否与它们匹配。
http://tools.seobook.com/robots-txt/analyzer/
If you wish to only index your static pages, you can use this:
This will disallow all URLs which contain a question mark.
If you wish to keep indexing posted.php?details=50 URLs, and you have a finite set of params you wish to disallow, you can create a disallow entry for each, like this:
Or just prevent everything starting with /?
You can use a tool like this to test a sampling of URLs to see if it will match them or not.
http://tools.seobook.com/robots-txt/analyzer/