当只有一个启动URL时，如何实现废弃的并发性？

Question

我有一个情况，我需要每秒向Web服务器发送20个请求。我有一个产品列表页面URL，我从一开始就将蜘蛛传递给蜘蛛。START_URLS，并且我从列表页面上获得的产品URL太多，我需要刮擦，但它正在向所有这些产品URL发送请求顺序。我该如何并发？

蜘蛛代码逻辑

class WebSpider(scrapy.Spider):

    def __init__(self, country=None, category=None, *args, **kwargs):
        self.start_urls.append(url[country][category])

    def start_requests(self):
        for url in self.start_urls:
            request = Request(
                url=url,
                headers=self.default_headers,
                callback=self.parse, 
                cookies=self.cookies,
                cb_kwargs=dict(link= url, asin= self.asin),
            )
            yield request
    
    def parse(self, response, **kwargs):
        products = response.xpath('//link')
        for product in products:
            yield Request(
                url=url,
                headers=self.default_headers,
                callback=self.product_parse, 
                cookies=self.cookies,
                cb_kwargs=dict(link= url, asin= self.asin),
            )

    def product_parse(self, response, **kwargs):
        # get all product details
        yield item

Answer 1

如下代码所示，您可以在本地的自定义设置中添加concurrent_requests，以启用并发请求。蜘蛛可以定义自己的设置，该设置将优先并覆盖项目。要阅读更多每个蜘蛛设置，请参阅 this

 class WebSpider(scrapy.Spider):
    name= 'webspider'

    custom_settings = {
     'CONCURRENT_REQUESTS' = 32
     }

    def __init__(self, country=None, category=None, *args, **kwargs):
        self.start_urls.append(url[country][category])

    def start_requests(self):
        for url in self.start_urls:
            request = Request(
                url=url,
                headers=self.default_headers,
                callback=self.parse, 
                cookies=self.cookies,
                cb_kwargs=dict(link= url, asin= self.asin),
            )
            yield request

您可以使用许多其他设置，或者与concurrent_requests一起使用。

concurrent_requests_per_ip - 设置每个IP地址的并发请求的数量。

concurrent_requests_per_domain - 定义每个域允许的请求数。

max_concurrent_requests_per_domain - 设置域允许的并发请求数的最大限制。