Wikipedia页面的刮擦小节

Question

我正在尝试使用Python在Wikipedia页面的小节中刮擦链接。例如，此处： https://en.wikipedia.org/wiki/wiki/lists_of_video_game_games 仅根据“类型”部分。

我试图使用BeautifulSoup，但我得到的信息太多了，我需要一种将我的回应仅限于该小节的方法。

如果我也可以获得小节标题，那就更好了，因此，例如“动作”中的所有链接，“体育”中的所有链接。.等。

任何帮助或指导都将不胜感激，

谢谢，

Answer 1

希望，以下示例将是您所需的输出

import requests
from bs4 import BeautifulSoup 
url='https://en.wikipedia.org/wiki/Lists_of_video_games'
res= requests.get(url)

soup = BeautifulSoup(res.content,'lxml')

links = soup.select('.toclevel-1.tocsection-41> ul > li > a')

for link in links:
    href= 'https://en.wikipedia.org/wiki/Lists_of_video_games' + link.get('href')
    print(href)

输出：

https://en.wikipedia.org/wiki/Lists_of_video_games#Action
https://en.wikipedia.org/wiki/Lists_of_video_games#Casual_and_puzzle
https://en.wikipedia.org/wiki/Lists_of_video_games#Role-playing
https://en.wikipedia.org/wiki/Lists_of_video_games#Simulation
https://en.wikipedia.org/wiki/Lists_of_video_games#Sports
https://en.wikipedia.org/wiki/Lists_of_video_games#Strategy
https://en.wikipedia.org/wiki/Lists_of_video_games#Other