Python如何爬取多个Request URL不变,Form Data改变的页面?

发布于 2022-09-06 03:42:14 字数 993 浏览 20 评论 0

在爬取香港交易所的股票数据时链接描述,发现页面的Request URL没有改变。直接post日期,也只返回最近一日的数据。

clipboard.png

clipboard.png

url = 'http://sc.hkexnews.hk/TuniS/www.hkexnews.hk/sdw/search/mutualmarket_c.aspx?t=sh'
payload = {'ddlShareholdingDay':'4', 'ddlShareholdingMonth':'11','ddlShareholdingYear':'2017'}
r1 = requests.post(url, payload)
soup = bs(r1.text,'lxml')
soup

clipboard.png

尝试post 11.4的日期,返回11.6(昨日)的数据。

Form data里面还有其他参数,加到payload之后不返回任何数据。

刚刚学习Requests和BeautifulSoup包,很不熟练,请大家指教。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

饭团 2022-09-13 03:42:14

如果有精力就研究一下那些不规则的参数值怎么生成的,你也可以照着写一份,如果没有精力就用selenium来解决吧

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文