Flume 代理 - 我可以指定 gzip 或 bz2 等压缩吗?
是否可以在 Flume 代理上指定压缩选项,以便数据以压缩格式传输到收集器?我知道收集器级别有压缩选项,但是能够从代理传输压缩数据也非常有用。
谢谢你!
Is it possible to specify a compression option on a Flume agent so that the data is transferred to the collector in a compressed format? I know there are compression options on the collector level, but it would be also extremely useful to be able to transfer compressed data from the agent, too.
Thank you!
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
Flume 具有您可以使用的
gzip
和gunzip
接收器装饰器。将gzip
装饰器放在代理接收器上,将gunzip
装饰器放在收集器接收器上,并且在代理和收集器之间传输压缩数据应该可以正常工作。Flume has the
gzip
andgunzip
sink decorators that you can use. Put thegzip
decorator on your agent sink and thegunzip
decorator on your collector sink, and transferring compressed data between the agent and collector should Just Work.