Python如何爬取多个Request URL不变,Form Data改变的页面?
在爬取香港交易所的股票数据时链接描述,发现页面的Request URL没有改变。直接post日期,也只返回最近一日的数据。
url = 'http://sc.hkexnews.hk/TuniS/www.hkexnews.hk/sdw/search/mutualmarket_c.aspx?t=sh'
payload = {'ddlShareholdingDay':'4', 'ddlShareholdingMonth':'11','ddlShareholdingYear':'2017'}
r1 = requests.post(url, payload)
soup = bs(r1.text,'lxml')
soup
尝试post 11.4的日期,返回11.6(昨日)的数据。
Form data里面还有其他参数,加到payload之后不返回任何数据。
刚刚学习Requests和BeautifulSoup包,很不熟练,请大家指教。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
如果有精力就研究一下那些不规则的参数值怎么生成的,你也可以照着写一份,如果没有精力就用selenium来解决吧