使用与该平面文件的多个连接通过互联网将 30GB 平面文本文件导入到本地文件系统?

发布于 2024-11-30 03:42:31 字数 112 浏览 6 评论 0原文

可以说,我的服务器中有一个纯文本文件。我需要通过互联网下载/导入/复制到我的本地文件系统。有什么方法可以批量导入文件或从本地系统与该平面文本文件本身建立多个连接,以便导入/复制/变得更快?

问候

Lets say, I have a flat text file in a server. I need to download/import/copy to my local file system over internet. Is there any way I could import the file in chunks or have multiple connection to that flat text file itself from my local system, so that, the import/copy/ becomes faster?

Regards

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

凉宸 2024-12-07 03:42:31

一种方法是,如果有可用的 FTP 服务器支持,请使用基于多个 ftp 的产品,该产品基本上将其分开,将多个流下载到同一个文件。然而,最终有一个严峻的现实,你的速度仍然只是路径上最小链接的最大值。因此,如果您下载文件并获得每秒 2mb 的完整带宽,建立 10 个连接,每个连接只能获得 200k/s,这不会使其速度更快,除非有什么东西逐个连接地限制下载。

当然,那也不是使用java,但可能有一个java multi FTP的东西。

One way you can do it is if supported by an FTP server available, use a multiple ftp based product that basically divdes it up, downloads multiple streams to the same file. However, in the end there is one stark reality, your speed will still be only a max of the smallest link along the path. So, if you download the file and get full bandwidth of say 2mb a second, making 10 connections you'll only get say 200k/s each, it wont make it faster unless something throttles the download on a connection by connection basis.

Of course, thats also not using java, but there probably is a java multi FTP thing about.

从此见与不见 2024-12-07 03:42:31

最快的方法可能是向该服务器的站点管理员发送电子邮件,并要求他将包含您想要的数据的硬盘驱动器快递寄给您,并收取一定费用。

如果做不到这一点,您将需要调查并购买您能找到的最快的互联网链接。
假设您有一个快速的互联网链接,允许您以每秒 X 字节的速度下载数据,那么您的最大理论限制是每秒 X 字节。

如果您的速度明显低于每秒 X 字节,则可能受到相关服务器或您与其服务器之间的任何链接的速率限制。

如果恰好您的 ISP 正在进行速率限制,那么在这种特定情况下,您可能能够使用第二个连接更快地下载数据并下载文件的不同部分。

The fastest way to do this is probably to email the site administrator at that server, and request that he express post you a hard drive with the data you want, for a fee.

Failing that, you will need to investigate and buy the fastest link to the internet you can find.
Given that you have a fast link to the internet which will allow you to download data at X bytes per second, then your maximum theoretical limit is X bytes per second.

If you get significantly below X bytes per second, you may be being rate limited, either by the server in question, or any link between you or their server.

If it just happens to be that your ISP is doing the rate limiting, then in that specific case, you might be able to download data faster using a second connection and downloading a different portion of the file.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文