超链接的网络抓取如此慢

Question

我正在使用以下功能从网站列表中刮擦Twitter URL。

import httplib2
import bs4 as bs
from bs4 import BeautifulSoup, SoupStrainer
from urllib.parse import urlparse
import pandas as pd
import swifter


def twitter_url(website): # website address is given to the function in a string format

    try:
        http = httplib2.Http()
        status, response = http.request(str('https://') + website)

        url = 'https://twitter.com'
        search_domain = urlparse(url).hostname

        l = []

        for link in bs.BeautifulSoup(response, 'html.parser',
                             parseOnlyThese=SoupStrainer('a')):
            if link.has_attr('href'):
                if search_domain in link['href']:
                    l.append(link['href'])
    
        return list(set(l))
    
    except:
        ConnectionRefusedError

然后，我将功能应用于数据框架中，其中包含URL地址

df ['twitter_id'] = df.swifter.apply(lambda x:twitter_url(x['Website address']), axis=1)

数据框的网站地址约为100,000个。即使我运行10,000个样本的代码，代码也会运行速度很慢。有什么办法可以更快地运行此？

Answer 1

问题必须是为每个网站检索HTML代码所花费的时间的结果。

由于URL是一个接一个地处理的，即使每个URL摄入100ms，也仍需要1000秒（〜16分钟）才能完成。

但是，如果您在单独的线程中处理每个URL，则应大大减少所花费的时间。

您可以查看线程库以实现这一目标。