携程网页抓取

发布于 2022-09-01 07:11:11 字数 749 浏览 24 评论 0

想要抓取携程酒店中房型的数据(例子:http://hotels.ctrip.com/hotel/1899874.html#ctm_ref=www_hp_bs_lst),发现
房型信息是通过js加载的(http://hotels.ctrip.com/Domestic/tool/AjaxHotelRoomListForDetail.aspx+参数),其中有两个必要的参数hotel和contyped
问题来了:
1. contyped参数是通过页面的js来计算的,而且该js代码会隔一段时间变化一次
2. 貌似需要带上cookies发送请求

那请问要抓取这些房型信息,可以用什么办法呢?

我尝试过的
服务器发送请求,请求到携程的页面,保存cookies并且提取计算contyped的js代码,将js返回前端页面,前端页面获取js代码后执行并且获得contyped,将contyped发送回服务器,服务器获取contyped后,组合url链接,带上cookies发送,请求房型信息。。。。。结果失败了。。

请问这个有什么好的办法解决吗?目前公司已经放弃了这个需求,不过个人好奇,想知道有没有办法做得到。。。。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文