Python：调用 Python 对象时超出最大递归深度

Question

我构建了一个爬虫，它必须在大约 5M 页面上运行（通过增加 url ID），然后解析包含我需要的信息的页面。

使用在网址（200K）上运行的算法并保存好的和坏的结果后，我发现我浪费了很多时间。我可以看到有一些返回的减数，我可以用它们来检查下一个有效的网址。

你可以很快地看到减数（前几个“好 ID”的一点点）——

510000011 # +8
510000029 # +18
510000037 # +8
510000045 # +8
510000052 # +7
510000060 # +8
510000078 # +18
510000086 # +8
510000094 # +8
510000102 # +8
510000110 # etc'
510000128
510000136
510000144
510000151
510000169
510000177
510000185
510000193
510000201

在爬行了大约 200K 个 url 后，我只得到了 14K 好的结果，我知道我在浪费时间，需要优化它，所以我运行一些统计数据并构建了一个函数，该函数将检查 url，同时用 8\18\17\8（顶部返回减数）等增加 id。

这就是函数 -

def checkNextID(ID):
    global numOfRuns, curRes, lastResult
    while ID < lastResult:
        try:
            numOfRuns += 1
            if numOfRuns % 10 == 0:
                time.sleep(3) # sleep every 10 iterations
            if isValid(ID + 8):
                parseHTML(curRes)
                checkNextID(ID + 8)
                return 0
            if isValid(ID + 18):
                parseHTML(curRes)
                checkNextID(ID + 18)
                return 0
            if isValid(ID + 7):
                parseHTML(curRes)
                checkNextID(ID + 7)
                return 0
            if isValid(ID + 17):
                parseHTML(curRes)
                checkNextID(ID + 17)
                return 0
            if isValid(ID+6):
                parseHTML(curRes)
                checkNextID(ID + 6)
                return 0
            if isValid(ID + 16):
                parseHTML(curRes)
                checkNextID(ID + 16)
                return 0
            else:
                checkNextID(ID + 1)
                return 0
        except Exception, e:
            print "somethin went wrong: " + str(e)

基本上做的是 -checkNextID(ID) 正在获取我知道的第一个包含数据负 8 的 id，因此第一次迭代将匹配第一个“if isValid”子句（isValid(ID + 8) 将返回真的）。

lastResult 是一个保存最后一个已知 url id 的变量，因此我们将运行直到 numOfRuns 为

isValid() 是一个获取 ID + 减数之一的函数，如果 url 包含我需要的内容，则返回 True，并将 url 的 soup 对象保存到名为 - 'curRes' 的全局变量，如果 url 不包含数据，则返回 False我需要。

parseHTML 是一个函数，它获取 soup 对象（curRes），解析我需要的数据，然后将数据保存到 csv，然后返回 True。

如果 isValid() 返回 True，我们将调用 parseHTML()，然后尝试检查下一个 ID + 减数（通过调用 checkNextID(ID + 减数），如果它们都不会返回我要查找的内容，我将将其增加 1 并再次检查，直到找到下一个有效的 url，

您可以在此处看到代码的其余部分。

运行代码后 我得到了大约 950~ 好的结果，突然出现了异常 -

“出了点问题：调用时超出了最大递归深度 Python 对象”

我可以在 WireShark 上看到 scipt 卡在 id - 510009541 上（我用 510000003 开始​​我的脚本），在我注意到错误并停止它之前，脚本尝试多次获取具有该 ID 的 url。

我真的很兴奋看到我得到了相同的结果，但比我的旧脚本快了 25 倍到 40 倍，HTTP 请求更少，非常精确，我只错过了 1 个结果是 1000 个好的结果，这是我发现的，不可能朗读 5M 次，我的旧脚本运行了 30 小时，得到了 14-15K 个结果，而我的新脚本在 5-10 分钟内给了我 960 个结果

。阅读有关堆栈限制的信息，但是我尝试在 Python 中实现的算法必须有一个解决方案（我无法回到我的旧“算法”，它永远不会结束）

。

Answer 1

Python 对递归没有很好的支持，因为它缺乏 TRE (尾递归消除）。

这意味着每次调用递归函数都会创建一个函数调用堆栈，并且因为堆栈深度有限制（默认为 1000），您可以通过 sys.getrecursionlimit （当然你可以使用 sys.setrecursionlimit 但不推荐）你的程序最终会崩溃达到这个极限。

由于其他答案已经为您提供了一种更好的方法来解决您的情况（即通过简单循环替换递归），如果您仍然想使用递归，则还有另一种解决方案，即使用像这样在 python 中实现 TRE one。

注意：我的回答是为了让您更深入地了解为什么会出现错误，我并不建议您使用我已经解释过的 TRE，因为在您的情况下，循环会更好并且易于阅读。

Answer 2

您可以通过以下方式增加堆栈的容量：

import sys
sys.setrecursionlimit(10000)

Answer 3

这将递归变成循环：

def checkNextID(ID):
    global numOfRuns, curRes, lastResult
    while ID < lastResult:
        try:
            numOfRuns += 1
            if numOfRuns % 10 == 0:
                time.sleep(3) # sleep every 10 iterations
            if isValid(ID + 8):
                parseHTML(curRes)
                ID = ID + 8
            elif isValid(ID + 18):
                parseHTML(curRes)
                ID = ID + 18
            elif isValid(ID + 7):
                parseHTML(curRes)
                ID = ID + 7
            elif isValid(ID + 17):
                parseHTML(curRes)
                ID = ID + 17
            elif isValid(ID+6):
                parseHTML(curRes)
                ID = ID + 6
            elif isValid(ID + 16):
                parseHTML(curRes)
                ID = ID + 16
            else:
                ID = ID + 1
        except Exception, e:
            print "somethin went wrong: " + str(e)

Answer 4

您可以增加递归深度和线程堆栈大小。

import sys, threading
sys.setrecursionlimit(10**7) # max depth of recursion
threading.stack_size(2**27)  # new thread will get stack of such size

Answer 5

代码中带有 checkNextID(ID + 18) 和类似部分的代码可以替换为 ID+=18，而不是进行递归，然后如果删除 checkNextID(ID + 18) 的所有实例， code>return 0，那么它应该做同样的事情，但作为一个简单的循环。然后，您应该在末尾添加 return 0 并使变量成为非全局变量。

Answer 6

使用 try 和 except 但不要在 except 中打印错误，只需在 except 语句中再次运行您的函数