在项目中如何使用别人网站的数据的
如题,比如我要提供企业查询服务,数据是来源于住建部网站(http://jzsc.mohurd.gov.cn/dataservice/query/comp/list)的,有两种方式,一种是直接提供链接,另一种是把网站上的数据抓取到本地,存到数据库,对数据库中的数据设置有效期,查询先查本地数据库,如果DB中没有数据或过了有效期,就再次抓取网站上的数据。做类似的功能一般是用哪种办法?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
爬虫,定时抓取,不改变原有系统逻辑