网络抓取 Groupon

Question

我现在想废掉 groupon.com 我的问题是这样的网站，当您第一次加载时，会要求您加入他们的电子邮件服务，但当您重新加载页面时，它们会直接向您显示页面的内容。我该怎么做？我正在使用 php 编写脚本。

另外，如果有人可以建议一个 php 中的框架或库，使抓取变得容易，那就太好了。

谢谢

Answer 1

我会调查 cURL 库 来抓取网站内容。我不确定您想要抓取的确切信息，或者刷新是否会导致问题，但希望这能启动您的尝试。

Answer 2

您必须坚持使用 PHP 进行抓取吗？ TestPlan 使此类测试变得简单。您可以再次访问该页面，或者只需使用 TestPlan 注册他们的电子邮件列表以获得对其网站的扩展访问权限。

这是一个粗略的示例，它将带您进入主页并关闭小弹出窗口：

GotoURL http://www.groupon.com/
Click id:step_one

SubmitForm with
    %Params:subscription[email_address]% [email protected]
end

Click id:close

Answer 3

他们有一个 API http://www.groupon.com/pages/api 如果有帮助的话。