rsync结合inotify同步海量文件的疑问
对于rsync的同步始终存在一个疑问,假如我的文件数即使在排除不监控和不同步目录的情况下依然有10万个文件,仅文件列表就达10M,那么岂不是每一次有文件产生或修改都会触发同步,很容易导致大部分情况下在传输文件列表和进行列表的比对,仅同步一个小文件而使用的网络带宽和CPU代价很高,特别是网络状况不佳时,上一次的列表还未传送完,又有新的文件产生触发发送文件列表。不知道rsync内部有没有这样的处理?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
inotify+rsync 确实存在你描述的问题。修改任意文件都会触发rsync操作,可能存在上次还没rsync完,第二个rsync又来了。
rsync本身仅仅是关心同步文件,并不关心自己进程以外的事情。
建议试一试lrsync或lsyncd之类的工具,但是我没自己使用过。