YQL黑名单

发布于 2024-11-05 09:39:56 字数 234 浏览 0 评论 0原文

我正在开发一个在线套牌编辑器 Proxymang,YQL 无法处理每个请求的数量第二。这些请求是每张 Magic 卡一个,它们被缓存,并且被间隔开。我应该怎么办?

GitHub

I'm developing an online deck editor, Proxymang, and YQL can't handle the number of requests per second. The requests are one per Magic card, they're cached, and they're spaced out. What should I do?

GitHub

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

笔落惊风雨 2024-11-12 09:39:57

我从来没有解决过这个问题;我最终决定改用 Gatherer 的 meager API。

问题似乎是以下之一:

  • YQL 在太多请求/秒后将 YelloSoft 列入黑名单
  • MagicCards.info 在太多请求/秒后将 YQL 列入黑名单
  • MagicCards.info 有一个严格的 robots.txt,它会阻止 HTML 抓取,但并不总是如此

I never resolved the problem; I eventually decided to use the Gatherer's meager API instead.

The problem seems to one of the following:

  • YQL blacklisted YelloSoft after too many requests/second
  • MagicCards.info blacklisted YQL after too many requests/second
  • MagicCards.info has a strict robots.txt which blocks HTML scraping, but not always
~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文