在 OSX 上使用 python select kqueue 来监视外部应用程序的文件创建

Question

通常，将我 1 小时长的录音会话转码为 mp3 文件需要二十多分钟。

当 OSX 应用程序 Garageband 完成写入 mp3 文件时，我想使用 python 脚本执行一系列 python 代码。

python 中检测外部应用程序已完成将数据写入文件并关闭该文件的最佳方法是什么。我读过有关 kqueue 和 epoll 的内容，但由于我没有操作系统事件检测方面的背景，也找不到一个很好的例子，所以我在这里要求一个。

我现在使用的代码执行以下操作，我正在寻找更优雅的东西。

while True:
    try:
        today_file = open("todays_recording.mp3","r")
        my_custom_function_to_process_file(today_file)
    except IOError:
         print "File not ready yet..continuing to wait"

Answer 1

您可以打开 lsof 并按您感兴趣的进程或文件进行过滤...

Answer 2

答案有点微妙。

如何使用 kqueue/kevent 监视文件写入

从技术上讲，您可以等待数据写入文件，如下所示：

from select import kqueue, kevent, KQ_FILTER_VNODE, KQ_NOTE_WRITE

fh = open('test.txt', 'r')
kqh = kqueue()
res = kqh.control([kevent(fh, KQ_FILTER_VNODE, fflags=KQ_NOTE_WRITE)], 1, 10)
print(res)

对 test.txt 进行写入后，res 将返回包含一个或多个事件。如果 10 秒过去没有检测到写入，则 res 中将返回一个空数组。如果监视队列溢出（在这种情况下极不可能发生，因为您没有监视数千个文件的目录上的大量事件），则 res 中将返回一个溢出事件。

但这是个好主意吗？

为什么监视写入是一个坏主意

监视写入以确定外部程序何时“完成”文件通常是一个坏主意。发生写入并不意味着程序（本例中为 GarageBand）不会再进行任何写入。更糟糕的是，从另一个程序的角度来看，其写入数据的函数调用可能已经成功，但底层缓冲（在语言平台或操作系统级别）可能会导致通知稍后发送或在某些罕见情况下根本不发送。

如果您只关注写入，那么您最终必须轮询文件以查看它是否已完全写入（重新发明您已有的代码）或使用容易出错且过于具体的启发法来猜测写入者何时完成（例如“写入”）观察到，然后 1 秒内不再写入；这可能意味着写入器已完成……或者意味着计算机负载很重，并且 GarageBand 在写入下一个 MP3 数据块之前需要很长时间进行编码”） 。

监视关闭

这就引出了您内心问题的第二部分：您可以监视外部程序来关闭文件吗？如果我们能做到这一点，我们就可以获得更可靠的提示，即外部程序已完成对给定文件的处理。

答案是肯定的……但在 Python 中并不容易，在 MacOS 上也更不容易。

kqueue(3) 支持 < code>NOTE_CLOSE 和 NOTE_CLOSE_WRITE fflags，当文件的读取器或写入器句柄关闭时触发。但是，截至撰写本文时的最新版本 (3.12)，Python stdlib 并未在 select 模块中提供这些标志。

幸运的是，这是一个旧的 BSD API，不太可能改变，因此从 BSD 内核源中获取这些标志的原始值（我在 NetBSD 源) 很简单：

#define NOTE_CLOSE  0x0100U         /* file closed (no FWRITE) */
#define NOTE_CLOSE_WRITE 0x0200U        /* file closed (FWRITE) */

这些值是无符号（和有符号）16/32 位整数的 256 和 512，所以我们应该能够手动等待它们，如下所示：

from select import kqueue, kevent, KQ_FILTER_VNODE

KQ_NOTE_CLOSE = 256
KQ_NOTE_CLOSE_WRITE = 512

fh = open('test.txt', 'r')
kqh = kqueue()
res = kqh.control([kevent(fh, KQ_FILTER_VNODE, fflags=KQ_NOTE_CLOSE_WRITE | KQ_NOTE_CLOSE)], 1, 10)
print(res)

但是，这不起作用（当其他程序关闭文件时不会唤醒），因为 NOTE_CLOSE 和 NOTE_CLOSE_WRITE 不在 MacOS 上可用。不幸的是，它似乎不像 MacOS 原生的 FSEvents 文件监控 API 也发布与文件关闭相关的事件。

结论是，这在 MacOS 上是不可能的，但在其他 BSD 上可能是可能的（通过对 select.kqueue 内部标志进行一些未经授权的修改）。