如何获取新浪微博某个用户的转发微博数和原创微博数

发布于 2022-09-04 22:33:24 字数 937 浏览 62 评论 0

1.问题描述
我正在做微博水军相关分析,需要获取微博用户的转发微博比和原创微博比,即用户转发他人微博数/所有微博数。

查阅文献发现很多人的论文中有这一类数据,但不知道怎么获得的。
图片描述
图片描述

我发现手机端和pc版本的微博,都可以利用筛选,查找一个人的转发微博,但是当我在手机版这样筛选时返回结果为空。
图片描述

而电脑版得到的结果,转发微博数和原创微博数的和明显远小于全部微博数。
图片描述
图片描述

2.需要的帮助
(1)新浪微博的搜索引擎是不是有问题
(2)能否通过某种搜索方式得到一个人的原创微博数,和转发微博数,API与爬虫均可。(不是用全部微博数-原创微博数,因为还包含不可见微博)。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

梦归所梦 2022-09-11 22:33:24

我开源了一个分布式的微博爬虫,该项目最初是做关于热门微博转发的分析(和我本身工作相关)。后来经过我多次修改,加了很多新的功能,并把它开源出来了。关于第一个问题,微博的搜索引擎是否有问题,我觉得有可能是它刻意为之,因为比如像用户关注和用户粉丝,微博系统就只会限制返回5页数据,像按地方搜索用户,也只会返回几万条数据。也有可能是由于有些微博你没权限查看,而它搜出来的结果是你有权限查看的。
你说的第二个问题,不可见微博肯定是拿不到的,爬虫只能拿到普通用户能看见的微博数据,这个我也是在代码中实现了。因为私有微博的话,肯定微博系统不会展示的,API应该也拿不到。因为微博这么大的公司,还是得保护一下用户隐私吧。
移动端你通过搜索接口搜索返回为空的原因,其实可能是因为微博刻意这么做的。你可以仔细调研一下,会发现PC端的信息比移动端的微博信息丰富得多。所以如果要做爬虫,且要求数据全面,肯定得从PC端入手。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文