如何使用 Python 解析无限滚动页面（例如 Wallbase.cc/search/sky）？

Question

不确定 Mechanize 或 BeautifulSoup 是否有任何帮助。任何建议将不胜感激！

Answer 1

Mechanize 和 Beautiful soup 无法与用于无限滚动的 javascript 交互。

硒可以。

此外，如果您在使用无限滚动时查看 ajax 请求，您将看到一个对 http://wallbase.cc/search/160 的发布请求，其中包含请求数据：

query:sky
board:123
res_opt:eqeq
res:0x0
aspect:0
nsfw_sfw:1
nsfw_sketchy:0
nsfw_nsfw:0
thpp:32
orderby:relevance
orderby_opt:desc

160 对应于图像范围，因此之前的请求是 wallbase.cc/searchar/128。