Heka 数据收集和整理工具

Question

heka 是 Mozilla 公司仿造 logstash 设计，用 Golang 重写的一个开源项目。同样采用了input -> decoder -> filter -> encoder -> output 的流程概念。其特点在于，在中间的 decoder/filter/encoder 部分，设计了 sandbox 概念，可以采用内嵌 lua 脚本做这一部分的工作，降低了全程使用静态 Golang 编写的难度。此外，其 filter 阶段还提供了一些监控和统计报警功能。

heka 目前仿造的还是旧版本的 logstash schema 设计，所有切分字段都存储在 @fields 下。 经测试，其处理性能跟开启了多线程 filters 的 logstash 进程类似，都在每秒 30000 条。

heka 插件

inputs

来源： 文件、socket、消息队列(MQ、KAFKA)

处理： 必须用go。

splitters

被inputs使用，切分为单独的记录

处理： 必须用go

decoders

来源： inputs

处理： go或者lua黑盒。将其转换为Heka Message structs

filters

来源：

处理：go或者lua黑盒。heka处理引擎，根据 Message Matcher Syntax作消息过滤和分发。捕获消息，作监控、聚合和处理。 产生新消息（eg: summary message）插入到heka pipeline。支持配置lua动态插入到lua instance，不需要重启heka。

匹配规则

encoders

来源： heka pipeline。

处理： go或者lua黑盒。和decoders相反，将Heka Message structs转换为外部输出流。被嵌入在outputs插件中使用。

outpus

来源： heka pipeline。

处理： 必须用go。利用encoders做数据处理，将序列化后的数据发送给外部。利用 Message Matcher Syntax进行过滤和分发。

hekad

定位： heka 核心 hekad，A single hekad process can be configured with any number of plugins, simultaneously performing a variety of data gathering, processing, and shipping tasks.