从刮板I删除重复的链接I＆＃x27; M制作

Question

#!/usr/bin/python3

import requests
from bs4 import BeautifulSoup
import re


url = input("Please enter a URL to scrape: ")
r = requests.get(url)
html = r.text
print(html)

soup = BeautifulSoup(html, "html.parser")

for link in soup.find_all('a', attrs={'href': re.compile("^https://")}):
    print(link.get('href'))

在底部，它打印了链接...我知道它会进入那里，但我想不出一种方法来删除那里的重复条目。有人可以帮我吗？

Answer 1

使用 set 以删除重复项。您调用add（）添加一个项目，如果已​​经存在该项目，则不会再次添加它。

尝试以下操作：

#!/usr/bin/python3

import requests
from bs4 import BeautifulSoup
import re

url = input("Please enter a URL to scrape: ")
r = requests.get(url)
html = r.text
print(html)

soup = BeautifulSoup(html, "html.parser")
urls = set()
for link in soup.find_all('a', attrs={'href': re.compile(r"^https://")}):
    urls.add(link.get('href'))
print(urls) # urls contains unique set of URLs

请注意，某些URL可能以http：//开头，因此可能需要使用Regexp ^https？：//捕获HTTP和HTTPS URL。

您也可以使用设置理解 Syntax syntax以重写分配和< em> for 这样的语句。

urls = {
    link.get("href")
    for link in soup.find_all("a", attrs={"href": re.compile(r"^https://")})
}

Answer 2

您需要以某种方式进行比较，而不是打印它。

尝试以下操作：

您将获得一个由find_all的所有结果的列表，然后将其设置为集合。

data = set(link.get('href') for link in soup.find_all('a', attrs={'href': re.compile("^https://")}))

for elem in data:
    print(elem)