使用java传输文件

Question

我需要在我的 java 程序中将大量小文件传输到远程计算机。我想知道是否有人可以建议最好的方法...我需要传输大量小文件并且它必须非常快。我应该使用一些现有的协议实现吗？也许是ftp？

一件重要的事情是，大多数文件始终是相同的，或者差异很小，所以我正在考虑使用 git 来实现这一目的。有人有这样的经验吗？

Answer 1

根据您的描述，rsync 绝对适合您的要求，比其他替代方案要优越得多已提供。

Answer 2

谁正在接收您发送的文件？另一个应用程序？您可以使用消息传递软件，例如 active MQ

或
坚持使用 Java Net API 进行 FTP。

URL url = new URL("ftp://user:password@server/filename;type=i");
URLConnection urlc = url.openConnection();
InputStream is = urlc.getInputStream(); // To download
OutputStream os = urlc.getOutputStream(); // To upload

想知道为什么要涉及 git。它是否提供任何 API 来查找 delta 等？我不这么认为。据我所知，git是一个版本控制系统。

Answer 3

传输大量小文件的最有效方法是作为存档；例如 ZIP 或 TAR。如果您的网络速度相对较慢，则在传输之前压缩存档将使文件产生很大的差异。但如果网络真的很快，压缩实际上可能会使传输文件的总时间更长。另一个产生巨大差异的因素是文件系统读取和（尤其是）创建文件的速率。

Git 协议可以非常快，但它通过仅发送已更改的文件并（在可能的情况下）发送差异而不是完整文件来实现这一点。此方法不能用于常规文件传输。 Rdist 和 rsync 是较旧的 UNIX/Linux 工具，它们采用与 Git 和其他版本控制系统相同（不同）的方法来传输文件。它们不会帮助你，就像 Git 不会帮助你一样……一般来说。

Answer 4

您对压缩这些文件然后使用 ftp 感觉如何？你有可能在接收方解压吗？

Git 是版本控制系统，如果您以后不检查这些文件，则无需在您的文件之上添加 git 的文件。我宁愿使用 ftp。

这是一篇关于 java ftp 库的精彩 文章 （或者你可以使用系统调用控制台 ftp 客户端，但我不喜欢这个想法）

Answer 5

Apache VFS 项目是一个 Java 库，您可以在程序中使用它在文件系统之间复制文件（例如，将本地文件复制到 FTP/SCP/HTTP。）

可以配置复制，以便仅复制源中比目标更新的文件，从而减少发送的数据量。

链接

1. Apache VFS
2. 支持文件系统。