携程网页抓取
想要抓取携程酒店中房型的数据(例子:http://hotels.ctrip.com/hotel/1899874.html#ctm_ref=www_hp_bs_lst),发现
房型信息是通过js加载的(http://hotels.ctrip.com/Domestic/tool/AjaxHotelRoomListForDetail.aspx+参数),其中有两个必要的参数hotel和contyped
问题来了:
1. contyped参数是通过页面的js来计算的,而且该js代码会隔一段时间变化一次
2. 貌似需要带上cookies发送请求
那请问要抓取这些房型信息,可以用什么办法呢?
我尝试过的
服务器发送请求,请求到携程的页面,保存cookies并且提取计算contyped的js代码,将js返回前端页面,前端页面获取js代码后执行并且获得contyped,将contyped发送回服务器,服务器获取contyped后,组合url链接,带上cookies发送,请求房型信息。。。。。结果失败了。。
请问这个有什么好的办法解决吗?目前公司已经放弃了这个需求,不过个人好奇,想知道有没有办法做得到。。。。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论