有什么解决方案可以自动捕获网站内的数据吗?
我想编写一个应用程序来从网站捕获数据,该网站正在使用 ajax 从服务器检索数据。
有什么解决方案可以让我方便地获取这些数据并将其存储到我自己的数据库中吗?由于该网站中的数据是动态的,历史数据将会消失,我想跟踪它们。
请提出任何解决方案,提前致谢!
I want to write an application to capture data from a website, and the website are using ajax to retrieve data from server.
Is there any solutions that I can get those data conveniently and store into my own database ? As the data in that website is dynamic, historical data will disappear, and I want to keep track them.
Please suggest any solutions, thanks in advance !
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
Selenium RC 只需做一点工作就可以做到这一点。\
http://seleniumhq.org/
Selenium RC can do this with a little bit of work.\
http://seleniumhq.org/
您可以尝试 IRobotSoft Web Scraper。在此处查看演示http://irobotsoft.com/help/,看看它是否是您想要的。
You may try IRobotSoft Web Scraper. Check demos here http://irobotsoft.com/help/ to see if it is what you want.