Open Graph:Facebook 爬虫名称和 IP 到白名单

发布于 2024-12-07 16:34:59 字数 200 浏览 0 评论 0原文

我正在为开放图发布做准备。
开放图的功能之一是抓取网站的元数据并提取时间线的相关信息。
我的 sitemap.xml 遇到了问题,并受到 Googlebot 等流行爬虫的速率限制和 IP 白名单保护。咕噜咕噜。
有人可以向我传递将在 Facebook 上抓取的机器人名称和 ip 吗?这不仅适用于 sitemap.xml,也适用于一般速率限制(整个站点)白名单。

I am prepping up for the open graph release.
One of the features from open graph is to crawl the site’s meta data and pull relevant info for the timeline.
My sitemap.xml runs into gigs and is protected by rate limiting and ip whitlisting for popular crawlers like Googlebot & Slurp.
Can someone pass me the robot names and ips that will be crawling for facebook? This is not just for sitemap.xml, but for general rate limit(whole site) white listing too.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

绝不放开 2024-12-14 16:34:59

当前的用户代理是:facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

Facebook 发布了他们的 IP 范围此处

The current user agent is: facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

Facebook publishes their IP range here.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文