在 Python 中，如何对有时挂起的函数调用强制超时？

Question

我正在使用 Python 蜘蛛通过 urllib2 OpenerDirector 来抓取互联网。问题是连接将不可避免地挂在 https 地址上，显然忽略了超时值。

一种解决方案是在线程中运行它，然后在线程挂起时终止并重新启动该线程。显然，Python 不支持终止线程，并且由于垃圾收集和其他问题，它被认为是一个坏主意。然而，由于简单，这个解决方案对我来说更可取。

另一个想法是使用像 Twisted 这样的异步库，但这并不能解决问题。

我要么需要一种方法来强制中断调用，要么修复 urllib2 OpenerDirector 处理超时的方式。谢谢。

Answer 1

另一个 StackOverflow 问题与此处类似。当我遇到类似的事情时，我发现将我正在做的事情转换为定义和定义更容易。调用函数，该函数随后可以在发生超时事件时返回一个值。这实际上可以通过利用各种返回值来开辟更多可能性。

我上面链接到的相关问题的另一个答案听起来更像是您正在寻找的内容（据我所知）： https:// /stackoverflow.com/a/5817436/1118357

Answer 2

我建议使用另一个进程而不是线程。像这样：

from multiprocessing import Process

checker = Process(target=yourFunction, args=(some_queue))
timeout = 150
checker.start()
counter = 0
while checker.is_alive() == True:
        time.sleep(1)
        counter += 1
        if counter > timeout :
                print "Son process consumed too much run-time. Going to kill it!"
                kill(checker.pid)
                break

这样无论发生什么，子进程都会在 150 秒后被终止。