大附件断点续传问题
主服务器 集团公司
子服务器 子公司
主服务器需要从n个子服务器收集数据。数据较大的超过500G,但是因为网络问题，不能使用sftp。
因为除了文件以外，还涉及别的业务。所以，现在项目用到的技术是flink.子公司local的flink把一些业务数据给kafka，总公司的flink集群从kafka获取数据。
现在这个大文件问题，是不是 可以借助 kafka 通道。还有用flume 或是 netty 来实现。大文件传输过程中，还要做到断点续传。 请教一下，什么方案来处理这一块最合适
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论