我想使用 GAE 抓取网站并将结果发布到 Google 实体中
我想抓取此网址： https://www.xstreetsl .com/modules.php?searchSubmitImage_x=0&searchSubmitImage_y=0&SearchLocale=0&name=Marketplace&SearchKe…
对 Apache 施加访问限制以防止抓取？
问题在于内容网站被严重抓取以至于破坏了服务器。 是否有一种简单的方法可以将 IP 的访问限制为一次或每天固定数量的请求？ （每天 10 页或......每 2…
设置一个可以在 Google App 引擎上运行的 Python 屏幕抓取工具
我希望设置一个自动屏幕抓取工具，它将使用 python 在 Google 应用程序引擎上运行。我希望它抓取网站并将指定的结果放入应用程序引擎中的实体中。我正…
自动检测任意电子商务网站的产品数据源？
我的网络应用程序需要访问任意电子商务商店并确定它是否具有产品数据提要（即 Google Base 提要；商店中所有产品的 RSS/ATOM 提要）。另外，我需要提…
safariwatir：如何选择匿名按钮
我在 OSX Snow leopard 上使用 watir 和 ruby 1.8.7 进行 safari。 我想单击一个按钮，这是页面中唯一一个既没有 id 也没有名称的按钮。它只有 on…
在 Eventlet 页面抓取中维护会话？
我正在尝试对需要身份验证（而不是 http 身份验证）的网站进行一些抓取。我使用的脚本基于此 eventlet 示例。基本上， urls = ["https://mysecuresite…
如何使用 HTML Parser 获取 HTML 页面中所有标签的完整信息
我正在使用 HTML 解析器来开发应用程序。 下面的代码无法获取页面中的整套标签。 有一些标签被遗漏了，它们的属性和文本正文也被遗漏了。 请帮我解释…
使用 PHP 从必须登录的网站 (Reddit) 抓取和使用数据？
我想创建一个网页，给定两个 reddit 用户名及其密码，让 user2 订阅 user1 订阅的所有 subreddit。所以我需要： 获取 user1 订阅的 subreddits。 订阅…
如何让C# HttpWebRequest等待查询结果
我正在尝试抓取报价引擎，但 HttpWebResponse 仅返回“请稍候”屏幕，而不是最终结果。 有没有办法让请求等待响应？状态代码不起作用，因为“请稍候”…
从使用 AJAX 的网页获取 HTML
我想知道如何抓取使用 AJAX 来获取正在呈现的网页上的内容的网页。通常，此类页面的 HTTP GET 只会获取嵌入了 JavaScript 代码的 HTML 页面。但我想知…
