如何从搜索中排除可能在 python 中使用或复制到的文件？

Question

我是 python 新手，所以这最终可能有一个简单的解决方案。

我家有3台与这种情况相关的电脑： - 文件服务器（Linux） - 我的主电脑（Windows） - 女朋友的 MacBook Pro

我的文件服务器正在运行 ubuntu 和 samba。我已经安装了 python 3.1 并在 3.1 中编写了代码。

我创建了一个守护程序，用于确定上传目录中何时存在遵循给定模式的某些文件。找到此类文件后，它会重命名该文件并将其移动到不同驱动器上的不同位置。它还重写了所有者、组和权限。所有这些都非常有效。它每分钟运行一次这个过程。

如果我从我的主电脑（运行 Windows 风格）复制文件，该过程始终有效。 （我相信 Windows 会锁定文件，直到完成复制 - 我可能是错的。） 如果我的女朋友复制了一个文件，它会在复制完成之前拾取该文件，事情会变得混乱。 （创建具有不正确权限的文件的下划线版本，有时该文件会进入正确的位置） 我在这里猜测她的mac book在复制时不会锁定文件。我也可能是错的。

我需要的是一种排除正在使用的文件或正在创建的文件的方法。

作为参考，我创建的查找文件的方法是：

# _GetFileListing(filter)
# Description: Gets a list of relevant files based on the filter
#
# Parameters: filter - a compiled regex query
# Retruns:
#   Nothing. It populates self.fileList
def _GetFileListing(self, filter):
    self.fileList = []
    for file in os.listdir(self.dir):
        filterMatch = filter.search(file)
        filepath = os.path.join(self.dir, file)

        if os.path.isfile(filepath) and filterMatch != None:
            self.fileList.append(filepath)

注意，这全部在一个类中。

我创建的操作文件的方法是：

# _ArchiveFile(filepath, outpath)
# Description: Renames/Moves the file to outpath and re-writes the file permissions to the permissions used for
#   the output directory. self.mask, self.group, and self.owner for the actual values.
#
# Parameters: filepath - path to the file
#             outpath - path to the file to output
def _ArchiveFile(self, filepath, outpath):
    dir,filename,filetype = self._SplitDirectoryAndFile(outpath)

    try:
        os.makedirs(dir, self.mask)
    except OSError:
        #Do Nothing!
        dir = dir

    uid = pwd.getpwnam(self.owner)[2]
    gid = grp.getgrnam(self.group)[2]
    #os.rename(filepath, outpath)
    shutil.move(filepath, outpath)
    os.chmod(outpath, self.mask)
    os.chown(outpath, uid, gid)

我已停止使用 os.rename，因为当我开始将文件移动到不同的驱动器时，它似乎已停止工作。

简短版本： 如何防止自己在搜索中拾取当前正在传输的文件？

预先感谢您能够提供的任何帮助。

Answer 1

事实证明写锁方法不起作用。我想我在更新之前没有正确测试它。

我现在决定做的是：

• 将检查之间的时间减少到 30 秒
• 保留在
  之前的迭代及其
  各自的文件大小
• 根据旧列表检查新文件列表

如果新列表包含与旧列表文件大小相同的相同文件，则将其放入要传输的列表中。新列表中的剩余文件将成为旧列表，并且该过程继续。

我确信 lsof 方法会起作用，但我不确定如何在 python 中使用它。此外，这种方法应该非常适合我的情况，因为我最关心的是在传输过程中不移动文件。

我还必须排除所有以“._”开头的文件，因为 mac 创建这些文件，并且我不确定它们是否会随着时间的推移而增加。

或者，我可以选择仅处理由她的 Mac 传输的情况。我知道当 Mac 传输文件时，它会创建：

• filename.ext
• ._filename.ext

我可以检查列表中所有以 ._ 开头的文件名实例，并以这种方式排除文件。

我可能会首先尝试第二个选项。它有点脏，但希望它能起作用。

Answer 2

Mac 上的 ._ 文件包含资源分支。更多信息请访问：http://support.apple.com/kb/TA20578

没有足够的代表发表评论，因此答案。

在大多数情况下，您可以安全地忽略它们，因为无论如何其他操作系统都无法对它们执行任何操作。有关它们的更多信息请参见此处：
http://en.wikipedia.org/wiki/Resource_fork

Answer 3

您可以在移动文件之前尝试对其进行独占写入锁定。这可以通过 fcntl 模块来完成：

http://docs.python.org/library/fcntl。除此之外

，您可以使用 lsof 实用程序查看系统已打开的文件。这需要更多的苦差事。

请注意， os.rename() 将在同一文件系统上工作，并且实际上不受此问题的影响（索引节点被移动，没有数据被移动）。使用shutil将像mv一样，如果文件系统相同，则重新链接文件，如果文件系统不同，则复制+删除。