更快地提出python请求和美丽的人

Question

嗨，我想从网站（用户和用户数据）中获取一些数据，并将数据保存在 sqlite 数据库中。

• 我想使此过程更快，
• 而在完成刮擦后，对于每个提交或彗星数据的女巫是更好的彗星数据。

我使用 lxml 和 cChardet 。但这并不是有效的改变。

Answer 1

如果您想减少刮擦部分中的时间，我建议构建一个多线程程序来提出请求。 condurrent.futures是多线程的最简单方法之一，尤其是使用 threadpoolexecutor 。他们甚至在文档中有一个简单的多线程URL请求示例。

import concurrent.futures as futures
import requests
from requests.exceptions import HTTPError

urllist = ...

def get_url_data(url, session):
    try:
        r = session.get(url, timeout=10)
        r.raise_for_status()
    except HTTPError:
        return None

    return r.text

s = requests.Session()

try:
    with futures.ThreadPoolExecutor(max_workers=5) as ex:
        future_to_url = {ex.submit(get_url_data, url, s): url
                         for url in urlist}

    results = {future_to_url[future]: future.result() 
               for future in futures.as_completed(future_to_url)}
finally:
    s.close() 

另外，您可能需要查看python scrapy框架，它会同时刮擦数据，还带有许多功能例如自动吹捧，旋转的代理和用户代理，您也可以轻松地与数据库集成。