如何在Windows XP中复制大文件？

Question

我在 Windows XP 中有一个大文件 - 38GB。 （虚拟机映像）

我似乎无法复制它。

在桌面上拖动 - 出现“系统资源不足，无法完成请求的服务”的错误

使用 Java - FileChannel.transferTo(0, fileSize, dest) 对于所有文件均失败 > 2GB

使用 Java - FileChannel.transferTo() 在 100Mb 块中失败后 ~18Gb

java.io.IOException: Insufficient system resources exist to complete the requested service
at sun.nio.ch.FileDispatcher.write0(Native Method)
at sun.nio.ch.FileDispatcher.write(FileDispatcher.java:44)
at sun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:72)
at sun.nio.ch.IOUtil.write(IOUtil.java:28)
at sun.nio.ch.FileChannelImpl.write(FileChannelImpl.java:198)
at sun.nio.ch.FileChannelImpl.transferToTrustedChannel(FileChannelImpl.java:439)
at sun.nio.ch.FileChannelImpl.transferTo(FileChannelImpl.java:510)

我的意思是 - 计算机有 3GB RAM。 100GB 缓冲区应该足够了！？！？

显然，DOS 命令“copy”和“xcopy”也失败。

（编辑）我尝试过 COPY & XCOPY - 这些失败并出现相同的错误。 XCOPY 似乎也花了很长时间。

我听说过 Robocopy，但它不复制单个文件？

我真的感觉 Windows 现在已经输了。微软肯定听说过大于几 GB 的文件吗？

谢谢！

Answer 1

在 Java 中，不要尝试在一次操作中复制整个文件。 transferTo() 方法适用于文件块；并不是作为高级文件复制方法。调用 transferTo() 在循环中，并假设 count 字节的数据将位于 RAM 中（即降低该参数以便舒适地安装在 RAM 中）。

FileChannel src = ... 
FileChannel dst = ...
final long CHUNK = 16 * 1024 * 1024; /* 16 Mb */
for (long pos = 0; pos < fileSize; ) {
  pos += src.transferTo(pos, CHUNK, dst);
}

transferTo() JavaDoc 中关于它“比简单循环更高效”的评论指的是通道到通道通信比通道到用户空间通信可以得到更多优化的事实。至频道。它并不意味着所有循环都可以避免。

Answer 2

我是一名 Vmware ESX 用户，我有 30 个生产虚拟机，最大的为 232GB。我将虚拟机实例备份到内部 SATA 驱动器上，然后每周将它们复制到外部 eSata 一次。我使用 teracopy（免费），它在 3GB 的 XP 机器上平均运行速度为 45MB/s。

希望有帮助
赛伦

Answer 3

嗯 - 我还没有找到有效的方法。

Windows 中的任何打包工具都不会复制该文件。拖放、COPY、XCOPY、java - 都无法复制文件。

我想复制该文件的原因是为了在操作系统升级之前进行备份。

最后我启动到 knoppix 并复制它。

Answer 4

看看这个修补程序，值得一试，因为我所看到的一切都表明这是一个解决你的问题。

编辑：您还可以按照指出的那样尝试 XCOPY /Z 这里。

Answer 5

也可能是硬件问题。。
我怀疑你没有太多时间，但是你可以尝试更笨的流解决方案并且不要设置大缓冲区（8-16MB 应该足够了）：

public static void copy(InputStream input, OutputStream output) throws IOException {
     byte[] buffer = new byte[1024 * 1024 * 8]; // 8MB
     int n = 0;
     while (-1 != (n = input.read(buffer))) {
         output.write(buffer, 0, n);
     }
}

public static void main(String args[]) {

    if (args.length != 2) {
        System.err.println("wrong argument count");
        System.exit(1);
    }

    FileInputStream in = null;
    FileOutputStream out = null;

    try {
        in = new FileInputStream(new File(args[0]));
        out = new FileOutputStream(new File(args[1]));
        copy(in, out);
    } catch (Exception e) {
        e.printStackTrace();
    }

    if (in != null) { try { in.close(); } catch (Exception e) {}}
    if (out != null) { try { out.close(); } catch (Exception e) {}}

}

Answer 6

您确定文件系统实际上能够处理这么大的文件（例如 FAT32 就不能）？查看此链接了解详细信息 http://www.ntfs.com/ntfs_vs_fat.htm

系统是32位还是64位？在 32 位上，复制大于 2-4Gb 的文件时可能会遇到问题。

另外，你说 rsync 对你来说很糟糕。我对此有非常好的体验，以接近本机的速度在两个硬盘驱动器之间进行复制。我有很多小文件..你似乎有大块文件。

您也可以尝试将大斑点分成较小的斑点:)

Answer 7

final long CHUNK = 16 * 1024 * 1024; /* 16 Mb */
for (long pos = 0; pos < fileSize; pos++) {   
     pos += src.transferTo(pos, CHUNK, dst); 
} 

这确实有效！只需确保您的 src 和 dst 是 FileChannel 对象（分别为输入、输出）

Answer 8

另一个可能的答案是 Files.copy (java NIO 2)，例如：

Path sourcePath      = Paths.get("big-file.dat");
Path destinationPath = Paths.get("big-file-copy.dat");

try {
    Files.copy(sourcePath, destinationPath,
            StandardCopyOption.REPLACE_EXISTING);
} catch (IOException e) {
    // something else went wrong
    e.printStackTrace();
}