请教如何爬取简书某一时间段发帖。

Question

我想爬取简书在某一时间段的帖子，比如 2013 年 4 月 13 — 2013 年 5 月 13

想尝试的思路如下：

• 百度

  • 利用百度的 site 语法
    

  • 限定日期
    

  • 观察大约有 70 个帖子
    

• Google

  • google 的 site 语法
    

  • 限定日期
    

  • 观察大约有 120 个帖子
    

实现：用 Python 直接请求搜索的结果，然后把得到的网址重定向一下得到真正的简书网址，然后对真正的网址进行请求

问题

1. 用这种方法得到的结果是否靠谱？请问有更靠谱的方法吗？

2. 用 Google 还是用百度呢？

Answer 1

为了全面，你可以把主流的搜索引擎接口都拿来用，不一定要限制在某个搜索引擎接口上。我们有队友搜索某些话题就是这么干的，因为有的网站站内没提供满足需求的搜索方式，这个时候也只有借助搜索引擎了。不过通过搜索引擎搜索的方式信息可能不全面，robots协议规定了不能搜索的，搜索引擎不会收录