我应该如何轮询大量文件的更改？

Question

我想轮询文件系统以查找任何更改、添加或删除的文件或子目录。所有变化都应该被快速检测到，但不会给机器带来压力。操作系统为Windows>=Vista，观察到的部分是本地目录。

通常，我会求助于 FileSystemWatcher，但这会导致尝试监视同一位置的其他程序（尤其是 Windows 资源管理器）出现问题。另外，我听说即使对于本地文件夹和缓冲区较大，FSW 也不是很可靠。

我遇到的主要问题是文件和目录的数量可能非常大（猜测是 7 位数字）。仅仅每秒对所有文件进行一次检查确实会明显影响我的机器。

我的下一个想法是每秒检查整个树的不同部分，以减少总体影响，并可能添加一种启发式方法，例如检查连续快速更改的文件。

我想知道此类问题是否有模式，或者是否有人有过这种情况的经验。

Answer 1

我们使用 C# 实现了类似的功能。 FileSystemWatcher 对于大型目录树效率很低。

我们的替代方案是使用 FSNodes，这是我们通过以下 Windows API 调用创建的结构：

    [StructLayout(LayoutKind.Sequential)]
        private struct FILETIME
    {
        public uint dwLowDateTime;
        public uint dwHighDateTime;
    };

    [StructLayout(LayoutKind.Sequential, CharSet=CharSet.Unicode)]
        private struct WIN32_FIND_DATA
    {
        public FileAttributes dwFileAttributes;
        public FILETIME ftCreationTime;
        public FILETIME ftLastAccessTime;
        public FILETIME ftLastWriteTime;
        public uint nFileSizeHigh;
        public uint nFileSizeLow;
        public int dwReserved0;
        public int dwReserved1;
        [MarshalAs(UnmanagedType.ByValTStr, SizeConst=MAX_PATH)]
        public string cFileName;
        [MarshalAs(UnmanagedType.ByValTStr, SizeConst=MAX_ALTERNATE)]
        public string cAlternate;
    }

    [DllImport("kernel32.dll", SetLastError = true)]
    static extern bool FindClose(IntPtr hFindFile);

    [DllImport("kernel32", CharSet=CharSet.Unicode)]
    private static extern IntPtr FindFirstFile(
        string lpFileName, out WIN32_FIND_DATA lpFindFileData);

    [DllImport("kernel32", CharSet=CharSet.Unicode)]
    private static extern bool FindNextFile(
        IntPtr hFindFile, out WIN32_FIND_DATA lpFindFileData);

我们所做的是静态处理。我们在磁盘上保存一棵元数据树，并将存储的目录树与加载的目录树进行比较，搜索修改的目录树（基于其时间戳（更快）或文件哈希）。此外，我们还可以管理删除、添加和移动，甚至移动修改的文件（也基于文件哈希）。

这个实现与每个 POLL_TIME 执行它的守护进程混合在一起，对我们来说是有效的。希望有帮助。

Answer 2

我最好的猜测是使用 USN 日志，如果它是本地计算机，您具有管理员权限并且分区是 NTFS。 USN 期刊极其快速且可靠。这是一个很长的主题，这个链接解释了一切：
http://www.microsoft.com/msj/0999/journal/journal.aspx

Answer 3

对于 *nix 环境，您可以使用 inotify https://github.com/rvoicilas/inotify-tools/ wiki/，在我有限的研究中效果很好。可能有一个与 Windows 一起使用的版本，我对此缺乏经验...快速谷歌搜索让我找到了一个名为 jnotify http://jnotify.sourceforge.net/ 宣传它可以在 Windows 上运行，因此可能值得尝试。