防止在 python 中创建文件

Question

我正在开发一个 python 服务器，它同时处理多个数据库上的事务，每个数据库存储有关不同应用程序的性能数据。并发是通过多处理模块完成的，因此每个事务线程都在一个新进程中启动，并且共享内存数据保护方案不可行。 我使用 sqlite 作为我的 DBMS，并选择在其自己的文件中设置每个应用程序的数据库。不幸的是，这引入了数据库创建的竞争条件；如果两个进程尝试同时为同一个新应用程序创建数据库，则两者都会创建要存储数据库的文件。我的研究使我相信人们无法在文件创建之前对其进行锁定；我可以使用其他一些机制来确保不会创建文件然后同时写入文件吗？

提前致谢， 大卫

Answer 1

对于常规文件，处理此问题的常用 Unix 风格方法是尝试创建文件并查看它是否失败。在Python的情况下，那就是：

try:
    os.open(filename, os.O_WRONLY | os.O_CREAT | os.O_EXCL)
except IOError: # or OSError?
    # Someone else created it already.

至少，您可以使用此方法尝试创建一个与数据库名称相似的“锁定文件”。如果创建了锁定文件，您可以继续创建数据库。如果没有，您可以针对“数据库存在”情况执行所需的操作。

Answer 2

以保证它们不会冲突的方式命名数据库文件。

http://docs.python.org/library/tempfile.html

Answer 3

当尝试在代码和异常处理程序中创建文件时，您可以捕获错误，检查文件是否存在并使用现有文件而不是创建它。

Answer 4

您没有提到平台，但在 linux open() 上，或 python 中的 os.open() 上，采用您可以使用的 flags 参数。如果文件不存在，O_CREAT 标志会创建一个文件；如果文件已存在，O_EXCL 标志会给出错误。您还需要 O_RDONLY、O_WRONLY 或 O_RDWR 来指定访问模式。您可以在 os 模块中找到这些常量。

例如：fd = os.open(文件名, os.O_RDWR | os.O_CREAT | os.O_EXCL)

Answer 5

您可以使用 POSIX O_EXCL 和 O_CREAT< /code> 标记为 open(2)以保证只有一个进程获取文件，从而获取数据库； O_EXCL 无法在 NFSv2 或更早版本上工作，并且依赖它来实现其他网络文件系统会非常不稳定。

liblockfile 库实现了网络文件系统安全锁定机制，描述于open(2) 联机帮助页，这会很方便；但我只看到预制的 Ruby 和 Perl 绑定。根据您的需求，也许提供 Python 绑定会很有用，或者可能只是重新实现算法：

   O_EXCL Ensure that this call creates the file: if this flag is
          specified in conjunction with O_CREAT, and pathname
          already exists, then open() will fail.  The behavior of
          O_EXCL is undefined if O_CREAT is not specified.

          When these two flags are specified, symbolic links are not
          followed: if pathname is a symbolic link, then open()
          fails regardless of where the symbolic link points to.

          O_EXCL is only supported on NFS when using NFSv3 or later
          on kernel 2.6 or later.  In environments where NFS O_EXCL
          support is not provided, programs that rely on it for
          performing locking tasks will contain a race condition.
          Portable programs that want to perform atomic file locking
          using a lockfile, and need to avoid reliance on NFS
          support for O_EXCL, can create a unique file on the same
          file system (e.g., incorporating hostname and PID), and
          use link(2) to make a link to the lockfile.  If link(2)
          returns 0, the lock is successful.  Otherwise, use stat(2)
          on the unique file to check if its link count has
          increased to 2, in which case the lock is also successful.