MSN 机器人向 URL 附加错误参数
在我的网站上 http://www.mustseeindia.com/places-around-bangalore" " 是有效的 URL。
在爬网时，MSN 机器人会向其附加一个字符串，从而导致爬网错误。
MSN 机器人附加的字符串 - "&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme=light&height=25"
生成了错误的 URL通过 MSN 机器人 - http://www.mustseeindia.com/places-around-bangalore&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme =light&height=25
这导致我网站上的 1000 个页面无法被 MSN 抓取，我该如何处理？
On my site http://www.mustseeindia.com/places-around-bangalore"" is valid URL.
While crawling, MSN bot is appending a string to it and there by causing a crawl error.
String appended by MSN bot - "&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme=light&height=25"
Wrong URL generated by MSN bot - http://www.mustseeindia.com/places-around-bangalore&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme=light&height=25
This is preventing 1000's of pages on my site from being crawled by MSN, how can I handle this ?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
这是基本的 URL 操作，我在您的网站上没有看到任何棘手的内容（尽管 标记充满错误），所以我怀疑这不是真正的 msnbot，而是一些伪装成 msnbot 的蹩脚垃圾邮件机器人/收割机。
That is basic URL manipulation and I don't see anything tricky on your site (although markup is full of errors), so I suspect that wasn't a real msnbot, but some lame spambot/harvester that cloaked as msnbot.