python中的调度问题

Question

我正在使用 python 将硬件 USB 嗅探器设备与供应商提供的 python API 连接起来，并且我尝试在无限循环中的单独线程中从设备读取（USB 数据包）（工作正常）。 问题是我的主循环似乎不再被安排（我的读取循环得到了所有的关注）。

代码看起来很像这样：（

from threading import Thread
import time
usb_device = 0

def usb_dump(usb_device):
    while True:
        #time.sleep(0.001)
        packet = ReadUSBDevice(usb_device)
        print "packet pid: %s" % packet.pid

class DumpThread(Thread):
    def run(self):
        usb_dump()

usb_device = OpenUSBDevice()
t = DumpThread()
t.start()
print "Sleep 1"
time.sleep(1)
print "End"
CloseUSBDevice(usb_device)
sys.exit(0)

我可以粘贴实际代码，但由于您需要硬件设备，我认为它不会有太大帮助）。

我期望这段代码在主线程终止整个程序之前开始转储 USB 数据包大约一秒钟。 但是，我看到的只是“Sleep 1”，然后 usb_dump() 过程永远运行。 如果我在 usb_dump() 过程的内部循环中取消注释“time.sleep(0.001)”语句，事情就会开始按我预期的方式工作，但随后 python 代码将无法跟上所有操作传入的数据包:-(

供应商告诉我这是一个 python 调度程序问题，而不是他们的 api 的错误，因此不会帮助我：

«但是，在 Python 中使用线程时，您似乎遇到了一些细微差别。 通过将 time.sleep 放入 DumpThread 线程中，您可以显式向 Python 线程系统发出信号以放弃控制。 否则，由 Python 解释器决定何时切换线程，通常在执行一定数量的字节码指令后执行。»

有人可以确认 python 是这里的问题吗？ 还有其他方法可以让DumpThread释放控制权吗？ 还有其他想法吗？

Answer 1

如果您的供应商是纯Python代码，那么您的供应商就是对的； 但是，C 扩展可能会释放 GIL，并且因此允许实际的多线程。

特别是，time.sleep确实释放了GIL（您可以直接从源代码中查看它，此处 - 查看 floatsleep 实现）； 所以你的代码应该不会有任何问题。
作为进一步的证明，我还做了一个简单的测试，只是删除了对 USB 的调用，它实际上按预期工作：

from threading import Thread
import time
import sys

usb_device = 0

def usb_dump():
    for i in range(100):
        time.sleep(0.001)
        print "dumping usb"

class DumpThread(Thread):
    def run(self):
        usb_dump()

t = DumpThread()
t.start()
print "Sleep 1"
time.sleep(1)
print "End"
sys.exit(0)

最后，只有关于您发布的代码的一些注释：

• usb_device 没有传递到线程。 您需要将其作为参数传递，或者（啊！）告诉线程从全局命名空间获取它。
• 与其强制 sys.exit() ，不如直接向线程发出停止信号，然后关闭 USB 设备。 我怀疑您的代码可能会遇到一些多线程问题，就像现在一样。
• 如果您只需要定期轮询，threading.Timer 类可能是您更好的解决方案。

[更新]关于最新的一点：正如评论中所述，我认为 Timer 更适合您的函数的语义（定期轮询），并且会自动避免问题供应商代码未发布 GIL。

Answer 2

我假设您编写了一个公开 ReadUSBDevice 函数的 Python C 模块，并且它的目的是阻塞直到收到 USB 数据包，然后将其返回。

本机 ReadUSBDevice 实现需要在等待 USB 数据包时释放 Python GIL，然后在收到 USB 数据包时重新获取它。 这允许其他 Python 线程在您执行本机代码时运行。

http://docs. python.org/c-api/init.html#thread-state-and-the-global-interpreter-lock

当您解锁 GIL 时，您将无法访问 Python。 释放 GIL，运行阻塞函数，然后当您知道有东西要返回给 Python 时，重新获取它。

如果您不这样做，那么当您的本机阻塞正在进行时，其他 Python 线程就无法执行。 如果这是供应商提供的 Python 模块，则在本机阻塞活动期间未能释放 GIL 是一个错误。

请注意，如果您收到许多数据包，并实际在 Python 中处理它们，那么其他线程仍应运行。 实际运行Python代码的多个线程不会并行运行，但它会频繁地在线程之间切换，让它们都有运行的机会。 如果本机代码在未释放 GIL 的情况下发生阻塞，则此方法不起作用。

编辑：我看到你提到这是一个供应商提供的库。 如果您没有源代码，可以快速查看他们是否正在释放 GIL：在没有 USB 活动发生时启动 ReadUSBDevice 线程，这样 ReadUSBDevice 就只是等待数据。 如果他们释放 GIL，其他线程应该不受阻碍地运行。 如果不是，它将阻止整个解释器。 那将是一个严重的错误。

Answer 3

我认为卖家是正确的。 假设这是 CPython，没有真正的并行线程； 一次只能执行一个线程。 这是因为全局解释器锁的实现。

您可以通过使用 multiprocessing 模块来实现可接受的解决方案，该模块有效地回避了通过生成真正的子进程来锁定垃圾收集器。

另一种可能有帮助的可能性是修改调度程序的切换行为。