Linux-如何做到快速进行服务器间大文件传输
现有两个压缩包,分别18G的代码包和3G的数据库,想传输到另外一台服务器上,方式有两种,rsync和scp,直接传输速度很慢(scp大约2M/s,rsync更慢),问有何更快速传输的处理方式。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
现有两个压缩包,分别18G的代码包和3G的数据库,想传输到另外一台服务器上,方式有两种,rsync和scp,直接传输速度很慢(scp大约2M/s,rsync更慢),问有何更快速传输的处理方式。
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(4)
是否可以用流协议,像音频视频传输一样
架一个nfs然后mount到本地再进行cp会不会快点呢
你可以看看,你可以将数据分块后再进行压缩后,分多个进程再传输,你还可以看看这篇文章,服务器间大文件传输
首先要看传输速度慢的原因是什么?两台服务器是在局域网里还是跨了公网?路径中是否存在带宽瓶颈?是否有人为限速?最终落实到传输协议上,就只有2个指标:延迟和丢包,仔细查查就能找到原因。如果瓶颈不可克服,那么你想什么技术手段都没用。
通用的建议:如果是局域网,就找找造成延迟升高和丢包率升高的原因是什么,网卡?交换机?电缆?还是因为传输加密造成的服务器负担过重?解决了速度就上去了。如果是公网,就用多线程传输,源服务器跑个httpd或者ftpd,目的服务器主动去拉,开多个线程,有很多工具可以用,比如lftp。