File.lastModified() 非常慢！

Question

我正在对文件进行递归复制，例如 xcopy /D 我只想复制较新的文件目标文件（我不能直接使用xcopy，因为我需要在复制过程中更改一些文件）。

在java中我使用 < code>lastModified() 来检查目标文件是否比源文件旧，并且速度非常慢。

• 我可以加快这个过程（也许使用 JNI？？）？
• 是否有其他复制脚本可以更好地完成这项工作（复制新文件+正则表达式更改一些文本文件）？

无论如何复制文件都不是一个选项，因为这比检查上次修改日期（通过网络复制）花费更多时间。

Answer 1

您需要确定为什么它这么慢。

当您运行 progrma 时，进程的 CPU 利用率是多少。如果超过 50% 用户，那么你应该能够优化你的程序，如果低于 20%，那么你无能为力。

通常这种方法很慢，因为您正在检查的文件位于磁盘上而不是内存中。如果是这种情况，您需要加快磁盘访问速度，或者购买更快的驱动器。例如，SSD 的速度可以快 10-100 倍。

批量查询可能会有所帮助。您可以通过使用多个线程检查上次修改日期来完成此操作。例如，有一个固定大小的线程池并为每个文件添加一个任务。线程池的大小决定了一次轮询的文件数量。

这允许操作系统重新排序请求以适应磁盘上的布局。注意：这在理论上很好，但是您必须测试这是否会使您的操作系统/硬件上的速度更快，因为它可能会使速度变慢。 ;)

Answer 2

所以我在网络驱动器上遇到了这个。痛苦。我有一个包含 17000 多个文件的目录。在本地驱动器上，检查上次修改日期只需不到 2 秒。在网络驱动器上花了 58 秒！！！当然，我的应用程序是一个交互式应用程序，所以我有一些抱怨。

经过一番研究后，我决定可以实现一些 JNI 代码来执行 Windows Kernel32 findfirstfile/findnextfile/findclose 来显着改进该过程，但后来我有了 32 位和 64 位版本等。呃。然后失去跨平台能力。

虽然我在这里做了一些令人讨厌的黑客行为。我的应用程序主要在 Windows 上运行，但我不想限制它这样做，所以我做了以下操作。检查一下我是否在 Windows 上操作。如果是的话，看看我是否使用本地硬盘。如果没有，那么我们将采用 hackish 方法。

我存储的所有内容都不区分大小写。对于可能具有同时包含文件“ABC”和“abc”的目录的其他操作系统来说，这可能不是一个好主意。如果您需要关心这一点，那么您可以通过创建一个新文件（“ABC”）和新文件（“abc”）然后使用 equals 方法来比较它们来决定。在不区分大小写的文件系统（如 Windows）上，它将返回 true，但在 UNIX 系统上，它将返回 false。

虽然这可能有点黑客行为，但在网络驱动器上花费的时间从 58 秒减少到 1.6 秒，所以我可以忍受黑客攻击。

        boolean useJaveDefaultMethod = true;

    if(System.getProperty("os.name").startsWith("Windows"))
    {
        File f2 = f.getParentFile();
        while(true)
        {
            if(f2.getParentFile() == null)
            {
                String s = FileSystemView.getFileSystemView().getSystemTypeDescription(f2);
                if(FileSystemView.getFileSystemView().isDrive(f2) && "Local Disk".equalsIgnoreCase(s))
                {
                    useJaveDefaultMethod = true;
                }
                else
                {
                    useJaveDefaultMethod = false;
                }
                break;
            }
            f2 = f2.getParentFile();
        }
    }
    if(!useJaveDefaultMethod)
    {
        try
        {
            ProcessBuilder pb = new ProcessBuilder("cmd.exe", "/C", "dir " + f.getParent());
            pb.redirectErrorStream(true);
            Process process = pb.start();
            InputStreamReader isr = new InputStreamReader(process.getInputStream());
            BufferedReader br = new BufferedReader(isr);

            String line;
            DateFormat df = new SimpleDateFormat("dd-MMM-yy hh:mm a");
            while((line = br.readLine()) != null)
            {
                try
                {
                    Date filedate = df.parse(line);
                    String filename = line.substring(38);
                    dirCache.put(filename.toLowerCase(), filedate.getTime());
                }
                catch(Exception ex)
                {

                }
            }
            process.waitFor();

            Long filetime = dirCache.get(f.getName().toLowerCase());
            if(filetime != null)
                return filetime;

        }
        catch(Exception Exception)
        {
        }
    }

    // this is SO SLOW on a networked drive!
    long lastModifiedDate = f.lastModified();
    dirCache.put(f.getName().toLowerCase(), lastModifiedDate);

    return lastModifiedDate;

Answer 3

不幸的是，Java 处理查找 LastModified 的方式很慢（基本上，它会在您请求信息时查询每个文件的底层文件系统，在 listFiles 或类似文件上不会批量加载此数据）。

您可以调用更高效的本机程序来批量执行此操作，但任何此类解决方案都将与您部署到的平台紧密相关。

Answer 4

我想您是通过网络执行此操作的，否则副本就没有什么意义。网络目录操作很慢，运气不好。您始终可以只复制低于特定大小阈值的文件，无论如何使总操作花费最少的时间。

我在这里不同意 Kris 的观点：Java 的做法并没有什么效率低得惊人的地方，而且无论如何它确实必须这样做，因为你想要最新的值。