Open Graph:Facebook 爬虫名称和 IP 到白名单
我正在为开放图发布做准备。
开放图的功能之一是抓取网站的元数据并提取时间线的相关信息。
我的 sitemap.xml 遇到了问题,并受到 Googlebot 等流行爬虫的速率限制和 IP 白名单保护。咕噜咕噜。
有人可以向我传递将在 Facebook 上抓取的机器人名称和 ip 吗?这不仅适用于 sitemap.xml,也适用于一般速率限制(整个站点)白名单。
I am prepping up for the open graph release.
One of the features from open graph is to crawl the site’s meta data and pull relevant info for the timeline.
My sitemap.xml runs into gigs and is protected by rate limiting and ip whitlisting for popular crawlers like Googlebot & Slurp.
Can someone pass me the robot names and ips that will be crawling for facebook? This is not just for sitemap.xml, but for general rate limit(whole site) white listing too.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
当前的用户代理是:
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
Facebook 发布了他们的 IP 范围此处。
The current user agent is:
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
Facebook publishes their IP range here.