如果记录爬虫
看到ecshop有个爬虫记录插件,记录哪个搜索引擎爬了哪个页面,但我对ECSHOP又不了解,又样知道这功能实现方式。
某个页面,如何判断是用户访问还爬虫访问?是哪个爬虫?
----------已解决,通过 HTTP_USER_AGENT ----------
"Baiduspider",
"Googlebot",
"360Spider",
"Sosospider",
"sogou spider"
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论