爬取infoQ，怎么获取文章列表？

Question

问题描述

我想要爬取infoQ的文章，比如所AI话题下的文章，但是我很好奇他是怎么请求加载文章列表的。
采用的是Java的爬虫gecco。

问题出现的环境背景及自己尝试过哪些方法

查看XHR请求如下：

{"type":1,"size":12,"id":31,"score":1546988400000}

这是首次加载的时候，滑轮滑下之后ajax会在加载文章，请求如下：

{"type":1,"size":12,"id":31,"score":1546495717917}

之后需要加载文章需要点击加载更多按钮，发起的请求格式和上面一样

这些请求请求的地址都是

https://www.infoq.cn/public/v1/article/getList

他是怎么确定需要记载的文章的列表的？
靠的是滑轮滑动的距离吗？
我应该怎么才可以得到文章列表呢？

Answer 1

new Date(1546495717917)
Thu Jan 03 2019 14:08:37 GMT+0800 (中国标准时间)
new Date(1546988400000)
Wed Jan 09 2019 07:00:00 GMT+0800 (中国标准时间)

大概就是获取某个时间之前的12篇文章。

Answer 2

推荐你看一下 Selenium
现在很多网站都做了防止抓取的技术，Selenium 是模拟浏览器的点击，同时能获取 Dom 数据，你可以试试。