如何正确地将“时间”从Fluentd事件传递给Elasticsearch和Kibana？

Question

tl; dr;

在Fluentd中，如何从事件中添加时间到Elasticsearch（因此，在Kibana中的数据视图中可以用作“时间戳字段”）？

我能够添加time和标签这样：

<filter grabt.listener.**>
    @type record_transformer
    <record>
        tag ${tag}
        time ${time}
    </record>
</filter>

但是time是字符串格式（2022-04-17T17：17：17： 31+00：00），不能用作时间戳字段。

完整的问题，

我使用- log-driver = fluentd在Docker容器中运行Python脚本。

我有一个基本的Fluentd，Elasticsearch，Kibana设置（官方文档中几乎一对一）： https：// https：// github.com/jkulak/efk-stack 。

我的python脚本正在使用structLog进行记录，并且我看到了Stdout中的JSON日志。

我所有的日志都将用于Elasticsearch，我可以在Kibana中看到它们。到目前为止，一切都很好。

在Kibana中，在定义新数据视图时，我将无法在禁用时选择时间戳字段（请参阅下面的我的屏幕）。

我的Fluentd配置就像：

<source>
  @type forward
  port 24224
</source>

<filter grabt.listener.**>
  @type parser
  key_name "$.log"
  hash_value_field "log"
  reserve_data true
  <parse>
    @type json
    time_key time
    keep_time_key true
  </parse>
</filter>

<filter grabt.listener.**>
    @type record_transformer
    <record>
        tag ${tag}
        time ${time} # <---- what to do here?
    </record>
</filter>

如何在记录中包含任何格式的时间，该格式将存储在Elasticsearch中，然后考虑了Kibana的适当日期/时间，时间戳记值，以便我可以按时间对记录进行分类？

Update

如下评论所建议，您可以找到我看到的日志以及我想看到的。

我的python脚本将JSON记录到Stdout：

{"logger": "get_albums.py", "name": "Heiken & Kenshin", "spotify_id": "3bIU4wnnl3J1J0w2dCciL5", "object": "artist", "event": "Processing artist"}

当Fluentd将其保存到文件@Type文件时，我看到time and tag 保存在一起使用我的日志数据（事件） - 应该（ Fluentd事件结构）：

2022-04-17T17:17:31+00:00   grabt.listener  {"container_name":"/get-albums","source":"stdout","log":"{\"logger\": \"get_albums.py\", \"name\": \"Heiken & Kenshin\", \"spotify_id\": \"3bIU4wnnl3J1J0w2dCciL5\", \"object\": \"artist\", \"event\": \"\\ud83d\\udc68\\ud83c\\udffd\\u200d\\ud83c\\udfa4 Processing\"}\r","container_id":"f16ff942df2bb20dcf5dd7f338fd245dcfbc3b5ba1d15c89306074d2befdadae"}

但是，当保存到elasticsearch（并在Kibana中显示）时，它会错过时间字段：

log.event:Processing artist log.object artist container_id:f16ff942df2bb20dcf5dd7f338fd245dcfbc3b5ba1d15c89306074d2befdadae container_name:/get-albums log.logger:get_albums.py log.name:Heiken & Kenshin log.spotify_id:0tCtGc5vt29zFZp6KXzN50 source:stdout tag:grabt.listener _id:3bIU4wnnl3J1J0w2dCciL5 _index:grabtracksp-listeners _score:5.855

它缺少time field（或任何类型的时间/时间戳字段）可以用来时间表奇巴纳的事件。

我可以将Python中的时间添加到日志中。我可以使用fluentd-Plugin-elastcicsearch添加时间戳字段。但是我想知道如何在Fluentd中使用其插件进行操作。谢谢。

Answer 1

将字段添加到您的记录中，并带有$ {time}的值，

您可以像这样格式化时间：

<filter mylogs>
  @type record_transformer
  # re-create each object, to set this specific order
  renew_record true
  # enable ruby to use strftime
  enable_ruby true
  <record>
    timestamp ${time.strftime('%Y-%m-%d %H:%M:%S')}
    message ${record["message"]}
  </record>
</filter>

<match mylogs>
  @type stdout
  <format>
    @type json
  </format>
</match>

这将打印出具有两个字段的JSON对象：格式的时间戳和消息。

---

每个Fluentd事件都会打印出时间戳，标签和record（通过Record_transFormer管理

您可以使用time $ {time $ {time} 和使用标签$ {tag}的标签，或将其添加到您的记录中

，您可以

<parse>
  @type json
</parse>

在＆lt; match＆gt;内使用以显示记录（不包括时间和标签）