可以从网页检索链接

Question

我正在使用BS4来浏览许多网站，并从每个页面上获取一个特定的链接，但我遇到了一个问题，请抓住该链接。

我尝试使用所有链接使用。

 soup = BeautifulSoup(browser.page_source,"lxml")
 print(soup.find_all('a'))

我尝试了许多其他方法，包括告诉它一个站点的确切地址。

但是，除了我想要的链接外，每次似乎都返回所有内容。

对于上下文，我的代码转到本网站的页面
https://ce.naco.org/?find=true

我正在寻找
中的链接的页面 https://ce.naco.org/?county_info=06019

https://ce.naco.org/?county_info=08045 大多数这些页面都有一个链接，那是我要抓取的链接它仅返回该链接似乎是BS4看不见的。

我认为这与该页面如何根据用户点击加载数据有关，并且由于BS4不与网站进行交互，因此不会加载数据？？？但这只是一个猜测。

Answer 1

不要使用此端点来获取数据：

https://ce.naco.org/get/county?fips=06019

以下方法：

import requests

data = requests.get("https://ce.naco.org/get/county?fips=06019").json()
print(f'{data["county"]["Full_Address"]}\n{data["county"]["County_Website"]}')

输出：

2281 Tulare St<br>Hall Of Records<br>Fresno, CA 93721-2105
http://www.co.fresno.ca.us

这两个县代码：

import requests

county_codes = ["06019", "08045"]

with requests.Session() as s:
    for county_code in county_codes:
        data = requests.get(f"https://ce.naco.org/get/county?fips={county_code}").json()
        print(f'{data["county"]["Full_Address"]}\n{data["county"]["County_Website"]}')

输出：

2281 Tulare St<br>Hall Of Records<br>Fresno, CA 93721-2105
http://www.co.fresno.ca.us
108 8Th St<br>Glenwood Springs, CO 81601-3355
http://www.garfield-county.com/