使用 JSoup 仅从多个页面获取文本

Question

我有一组 1000 个页面（链接），是通过向 Google 查询得到的。我正在使用 JSoup。我想删除图像、链接、菜单、视频等，只获取每个页面的主要文章。

我的问题是每个页面都有不同的 DOM 树，所以我不能对每个页面使用相同的命令！您知道有什么方法可以同时处理 1000 个页面吗？我想我必须使用正则表达式。也许是这样

textdoc.body().select("[id*=main]").text();//get id that contains the word main
textdoc.body().select("[class*=main]").text();//get class that contains the word main
textdoc.body().select("[id*=content]").text();//get id that contains the word content

，但我觉得我总是会错过一些东西。还有更好的想法吗？

Answer 1

Element main = doc.select("div.main").first();
Elements links = main.select("a[href]");

所有不同的页面都有主文章的主类吗？