Python：用于创建基于 PID 的锁定文件的模块？

Question

我正在编写一个Python脚本，它可能会也可能不会（取决于很多事情）运行很长时间，并且我想确保多个实例（通过cron启动）不会互相干扰。执行此操作的逻辑方法似乎是基于 PID 的锁定文件……但如果已经有代码可以执行此操作，我不想重新发明轮子。

那么，是否有一个 Python 模块可以管理基于 PID 的锁定文件的详细信息？

Answer 1

这可能对您有帮助： lockfile

Answer 2

如果您可以使用 GPLv2，Mercurial 有一个模块：

http:// bitbucket.org/mirror/mercurial/src/tip/mercurial/lock.py

示例用法：

from mercurial import error, lock

try:
    l = lock.lock("/path/to/lock", timeout=600) # wait at most 10 minutes
    # do something
except error.LockHeld:
     # couldn't take the lock
else:
    l.release()

Answer 3

我对所有这些都非常不满意，所以我写了这个：

class Pidfile():
    def __init__(self, path, log=sys.stdout.write, warn=sys.stderr.write):
        self.pidfile = path
        self.log = log
        self.warn = warn

    def __enter__(self):
        try:
            self.pidfd = os.open(self.pidfile, os.O_CREAT|os.O_WRONLY|os.O_EXCL)
            self.log('locked pidfile %s' % self.pidfile)
        except OSError as e:
            if e.errno == errno.EEXIST:
                pid = self._check()
                if pid:
                    self.pidfd = None
                    raise ProcessRunningException('process already running in %s as pid %s' % (self.pidfile, pid));
                else:
                    os.remove(self.pidfile)
                    self.warn('removed staled lockfile %s' % (self.pidfile))
                    self.pidfd = os.open(self.pidfile, os.O_CREAT|os.O_WRONLY|os.O_EXCL)
            else:
                raise

        os.write(self.pidfd, str(os.getpid()))
        os.close(self.pidfd)
        return self

    def __exit__(self, t, e, tb):
        # return false to raise, true to pass
        if t is None:
            # normal condition, no exception
            self._remove()
            return True
        elif t is PidfileProcessRunningException:
            # do not remove the other process lockfile
            return False
        else:
            # other exception
            if self.pidfd:
                # this was our lockfile, removing
                self._remove()
            return False

    def _remove(self):
        self.log('removed pidfile %s' % self.pidfile)
        os.remove(self.pidfile)

    def _check(self):
        """check if a process is still running

the process id is expected to be in pidfile, which should exist.

if it is still running, returns the pid, if not, return False."""
        with open(self.pidfile, 'r') as f:
            try:
                pidstr = f.read()
                pid = int(pidstr)
            except ValueError:
                # not an integer
                self.log("not an integer: %s" % pidstr)
                return False
            try:
                os.kill(pid, 0)
            except OSError:
                self.log("can't deliver signal to %s" % pid)
                return False
            else:
                return pid

class ProcessRunningException(BaseException):
    pass

要使用这样的东西：

try:
    with Pidfile(args.pidfile):
        process(args)
except ProcessRunningException:
    print "the pid file is in use, oops."

Answer 4

我知道这是一个旧线程，但我还创建了一个简单的锁，它仅依赖于 python 本机库：

import fcntl
import errno


class FileLock:
    def __init__(self, filename=None):
        self.filename = os.path.expanduser('~') + '/LOCK_FILE' if filename is None else filename
        self.lock_file = open(self.filename, 'w+')

    def unlock(self):
        fcntl.flock(self.lock_file, fcntl.LOCK_UN)

    def lock(self, maximum_wait=300):
        waited = 0
        while True:
            try:
                fcntl.flock(self.lock_file, fcntl.LOCK_EX | fcntl.LOCK_NB)
                return True
            except IOError as e:
                if e.errno != errno.EAGAIN:
                    raise e
                else:
                    time.sleep(1)
                    waited += 1
                    if waited >= maximum_wait:
                        return False

Answer 5

我相信您会在此处找到必要的信息。有问题的页面引用了一个用于在 python 中构建守护进程的包：此过程涉及创建 PID 锁定文件。

Answer 6

有一个ActiveState 创建锁定文件的方法。

要生成文件名，您可以使用 os.getpid() 来获取PID。

Answer 7

您可以尝试PID：https://pypi.org/project/pid/< /a>

正如文档所示，您只需在函数/方法名称顶部添加装饰器 @pidfile() 即可锁定函数。

from pid.decorator import pidfile


@pidfile()
def main():
  pass

if __name__ == "__main__":
  main()

pidfile 自检的默认位置（指示是否可以执行代码的文件）是“/var/run”。您可以按如下方式更改它：

@pidfile(piddir='/path/to/a/custom/location')

对于其他参数，请参阅： https ://github.com/trbs/pid/blob/95499b30e8ec4a473c0e6b407c03ce644f61c643/pid/base.py#L41

不幸的是，这个库的文档有点差。