为什么我找不到新浪微博的ajax请求?

发布于 2022-09-02 01:27:40 字数 1757 浏览 25 评论 0

【问题解决了,我的cookie过期了。。。】



毕业设计要求做新浪微博的数据分析,然后我打算用python写爬虫。

经过查资料,我能找到当新浪微博加载的"下一页"之类的json数据,但是页面最开始(第一页)的内容却找不到。

比如我爬取http://huati.weibo.com/k/广州下雪?retcode=6102

我找到了当拖到页面底部的时候,微博用

http://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=100808&k=%E5%B9%BF%E5%B7%9E%E4%B8%8B%E9%9B%AA&from=526&_from_=huati_topic&pre_page=1&page=1&max_id=&end_id=3936997230449888&pagebar=0&filtered_min_id=&pl_name=Pl_Third_App__9&id=1008082953797524284b78e138596608638001&script_uri=/p/1008082953797524284b78e138596608638001&feed_type=1&tab=home&current_page=1&since_id=2399999985&domain_op=100808&__rnd=1454218643270
这样的链接来获取新的页面

但是我用python爬下来的页面,本来应该有微博数据的地方(script标签里的json数据),却与页面上不一样。

我在Chrome中看到的是这样的:
图片描述
在146行后面就是保存在json里面的HTML数据

但是我用python爬下来跟上面的一样,就是json里面保存的html数据不对。

我感觉它应该是有个ajax请求,但是用LIVE HTTP Headers跟Chrome的Network翻了好多遍,就是找不到……

请问如何才能在找到这个ajax请求呢?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文