施工在跑步时一次又一次地卡住

Question

问题得到了解决。答案是在此教程。

我一直在运行一个刮擦和刮擦脚本。一切都很好。但是在跑步时，它不断陷入困境。 这是显示的内容，

[scrapy.extensions.logstats] INFO: Crawled 1795 pages (at 0 pages/min), scraped 1716 items (at 0 items/min)

然后我停止了使用Contorl+Z和Reran Reran运行的代码。然后，在爬行并刮擦一些数据后，它被卡住了。你以前遇到了这个问题吗？您是如何克服它的？

是 link>

这 蜘蛛

import scrapy
from scrapy.loader import ItemLoader
from healthgrades.items import HealthgradesItem
from scrapy_playwright.page import PageMethod 

# make the header elements like they are in a dictionary
def get_headers(s, sep=': ', strip_cookie=True, strip_cl=True, strip_headers: list = []) -> dict():
d = dict()
for kv in s.split('\n'):
    kv = kv.strip()
    if kv and sep in kv:
        v=''
        k = kv.split(sep)[0]
        if len(kv.split(sep)) == 1:
            v = ''
        else:
            v = kv.split(sep)[1]
        if v == '\'\'':
            v =''
        # v = kv.split(sep)[1]
        if strip_cookie and k.lower() == 'cookie': continue
        if strip_cl and k.lower() == 'content-length': continue
        if k in strip_headers: continue
        d[k] = v
return d

# spider class
    class DoctorSpider(scrapy.Spider):
    name = 'doctor'
    allowed_domains = ['healthgrades.com']
    url = 'https://www.healthgrades.com/usearch?what=Massage%20Therapy&entityCode=PS444&where=New%20York&pageNu    m={}&sort.provider=bestmatch&='

# change the header of bot to look like a browser
    def start_requests(self):
        h = get_headers(
            '''
            accept: */*
            accept-encoding: gzip, deflate, be
            accept-language: en-US,en;q=0.9
            dnt: 1
            origin: https://www.healthgrades.com
            referer: https://www.healthgrades.com/
            sec-ch-ua: ".Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"
            sec-ch-ua-mobile: ?0
            sec-ch-ua-platform: "Windows"
            sec-fetch-dest: empty
            sec-fetch-mode: cors
        vsec-fetch-site: cross-site
            user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36
            '''
        )

        for i in range(1, 6): # Change the range to the page numbers. more improvement can be done
            # GET request. url to first page
            yield scrapy.Request(self.url.format(i), headers =h, meta=dict(
                playwright = True,
                playwright_include_page = True,
                playwright_page_methods =    [PageMethod('wait_for_selector', 'h3.card-name a')] # for     waiting for a particular element to load 
            )) 

    def parse(self, response):
        for link in response.css('div h3.card-name a::attr(href)'): # individual doctor's link
            yield response.follow(link.get(), callback = self.parse_categories) # enter into the website
        
    def parse_categories(self, response):
        l = ItemLoader(item  = HealthgradesItem(), selector = response)

        l.add_xpath('name', '//*[@id="summary-section"]/div[1]/div[2]/div/div/div[1]/div[1]/h1')
        l.add_xpath('specialty', '//*[@id="summary-section"]/div[1]/div[2]/div/div/div[1]/div[1]/div[2]/p/span[1]')
        l.add_xpath('practice_name', '//*[@id="summary-section"]/div[1]/div[2]/div/div/div[2]/div[1]/p')
        l.add_xpath('address', 'string(//*[@id="summary-section"]/div[1]/div[2]/div/div/div[2]/div[1]/address)')

        yield l.load_item()

Answer 1

问题是，并发设置有一个限制。

这是解决方案

并发请求

将并发添加到废品中实际上是一项非常简单的任务。已经有一个允许的并发请求数的设置，您只需要修改。

您可以选择在您制作的蜘蛛的自定义设置或影响所有蜘蛛的全局设置中进行修改。

全局

要在全球添加此内容，只需将以下行添加到您的设置文件中。

  concurrent_requests = 30
 

我们将并发请求的数量设置为30。您可以在合理的限制内使用任何想要的值。

local

要在本地添加设置，我们必须使用自定义设置将并发请求添加到我们的scrapy Spider中。

  custom_settings = {
     'concurrent_requests'= 30
}
 

其他设置

您可以使用许多其他设置，而不是与Concurrent_requests一起使用。

• concurrent_requests_per_ip - 设置每个IP地址的并发请求的数量。
• concurrent_requests_per_domain - 定义每个域允许的并发请求数。
• max_concurrent_requests_per_domain - 设置域允许的并发请求数的最大限制。