从线上实时下载海量文件到HDFS有哪些方案？

Question

最近公司想把上千台服务器上生成在一个文件夹下的日志文件（5分钟生成一个）实时下载到3台HDFS上，但是文件量大，HDFS带宽有限，网路上需要压缩。是否有合适的方案？

Answer 1

1.合并文件上传：建议将5分钟一个文件先在相应的服务器合并为1个小时一个文件再压缩上传到HDFS，并记录当前上传的文件，这样当上传失败时从记录的失败文件开始继续上传。

2.控制上传宽带占用：为了避免上传过程中大量占用大量宽带导致线上服务器正常任务运行，可以控制上传的带宽占用匀速上传。