刮擦<框架集>使用 cURL 的内容
如何使用 cURL 从隐藏 框架之一内我真正感兴趣的数据的页面中抓取数据？
How can I use cURL to scrape from a page that hides the data I'm really interested in inside one of the frames of a <frameset>?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
好吧，当我需要抓取稍微复杂一点的东西时，我是 Perl 和模块 WWW::Mechanize http://search.cpan.org/dist/WWW-Mechanize/lib/WWW/Mechanize.pm
模块页面上有示例，但是如果您在 google 上搜索“Screen scraping with perl”，您会发现各种示例。它也可以为您管理cookie。
注意：我确信这一切都可以通过多个curl 请求和一些grep 来完成——但我的经验主要是使用Perl。
Ok, when I need to scrape things that are a little more complicated I'm a huge fan of Perl and the module WWW::Mechanize http://search.cpan.org/dist/WWW-Mechanize/lib/WWW/Mechanize.pm
There are examples on the module page, but if you do a google search for 'Screen scraping with perl', you will find all kinds of examples. It can manage cookies for you as well.
NOTE: I'm sure this can all be accomplished with multiple curl request and some grep'ing -- but my experience has been primarily with Perl.