致命的python错误：在使用硒解析时无法从堆栈溢出错误中恢复

Question

根据任务，我需要解析所有书籍（浏览所有类别并转到每个产品）。该网站上大约有1万本书。但是，当执行脚本后，一段时间后会发生错误：

Fatal Python error: Cannot recover from stack overflow.

我知道，很可能有足够的RAM（根据Internet上的类似问题来判断），但是如何解决该问题，尚不清楚我。 这就是我的代码的样子：

import requests
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup as bs
from mongodb import connect_mongo_bd
import time


db = connect_mongo_bd()
collections = db.comparison_new

print('Start!')

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36'}
service = Service('/home/Test/Desktop/work/python_parser/chromedriver')
options = webdriver.ChromeOptions()
options.headless = True
options.binary_location = '/data/opt/apps/cn.google.chrome/files/google-chrome'
browser = webdriver.Chrome(service=service, options=options)


def pagination_cycle(url):

    print(url)

    try:
        browser.get(url)

        wait = WebDriverWait(browser, 10)
        wait.until(
            EC.presence_of_element_located((By.CLASS_NAME, 'product'))
        )

        first_soup = bs(browser.page_source, 'html.parser')

        products = first_soup.select('#resProd > div.product')

        products_list = []
        for product in products:

            time.sleep(1)

            product_link_tag = product.select_one('div.rtd > div.title-mine > a')
            if not product_link_tag:
                continue
            else:
                product_link = 'https://test.de' + product_link_tag['href']

            print(product_link)

            second_request = requests.get(product_link, headers=headers)

            if second_request.status_code == 200:

                second_soup = bs(second_request.content, 'html.parser')

                product_name_tag = product.select_one('div.rtd > div.title-mine > a')
                if product_name_tag:
                    product_name = product_name_tag.text
                else:
                    continue

                product_price_tag = second_soup.select_one('#product_shop > div.product_list_style > div.item-info > div > span.price2')
                if product_price_tag:
                    product_price = float(product_price_tag.text.replace(' €', ''))
                else:
                    continue

                product_isbn_tag = second_soup.select_one('#product_shop > div.product_list_style > div.item-info').find(
                    text='ISBN'
                )
                if product_isbn_tag:
                    product_isbn = product_isbn_tag.find_parent().find_next_sibling().text.replace('-', '')
                else:
                    continue

                collections.update_one(
                    {
                        'isbn': product_isbn
                    },
                    {
                        '$set': {
                            'name': product_name,
                            'test_price': product_price
                        },
                        '$inc': {
                            'cnt_updated': 1
                        }
                    },
                    upsert=True
                )

        next_link = first_soup.select_one(
            '#resPage > div.pager > div > div.pages > ol > li.current'
        ).find_next_sibling().find('a')

        if next_link:
            pagination_cycle('https://test.de/knigi/' + next_link['href'])

    except Exception as ex:
        print("Ошибка: " + ex.__class__.__name__)
        time.sleep(10)
        pagination_cycle(url)

    return True


result = pagination_cycle('https://test.de/knigi/')
print(result)

browser.quit()
db.close()

一切都会好起来的，但是一段时间后，我不断收到此错误：

请告诉我该怎么办以及如何解决此问题？

Answer 1

此错误消息...

Fatal Python error: Cannot recover from stack overflow

...意味着您程序逻辑中的递归极限超过了Python解释器堆栈的最大深度。

---

深度潜水

您正在遇到此错误，因为您的程序开始执行该行：

result = pagination_cycle('https://test.de/knigi/')

然后在def def Pagination_cycle（url）中：最后您递归地调用与以下方式相同的方法：

pagination_cycle('https://test.de/knigi/' + next_link['href'])

一旦递归限制超过最大值Python解释器堆栈的深度，此错误被抛出。

---

tl; dr

sys.getRecursionLimit（）：

返回递归极限的当前值，即Python解释器堆栈的最大深度。该极限可防止无限递归导致C堆栈的溢出和崩溃的python。可以通过 setRecursionLimit（） /a>。