通过LogStash从AWS Kinesis到Elasticsearch流式传输日志时编码问题

Question

我有一个称为“ Otelpoc”的AWS运动流数据流。

在logstash中，我正在使用运动式输入插件 - 请参见此处。

我的logStash配置如下：

input {
   kinesis {
      kinesis_stream_name => "otelpoc"
      region => "ap-southeast-2"
      codec => json { }
   }
}
output {
   elasticsearch {
      hosts => ["elasticsearch:9200"]
      index => "otelpoc-logstash-%{+YYYY.MM.dd}"
   }
}

我可以使用AWS CLI将事件放在运动式上：如下： aws kinesis put-ecord -stream-name otelpoc -data file：//payload.json -partition-key 1

pareload.json看起来像这样：

{
  "message": "this is a test",
  "level": "error"
}

.. ..但是，当我这样做时，我会在Logstash中看到一个错误： 收到的事件具有与您配置不同的字符编码。 {：text =＆gt; \ xae \\ xba+“，：enducent_charset =＆gt;“ utf-8”}

有趣的是，该消息仍将其输出到Elastic，我可以在Kibana中查看它，如下所示：

不确定我应该用编码的字符做什么...我在logstash中尝试了几件事，但是没有成功，例如将kinesis输入中的编解码器更改为以下内容

codec => plain {
   charset => "UTF-8"
}

...但是没有运气...我试图在一些在线解码器中解码编码的文本，但不确定我想从...有人提供帮助的是什么？

编辑：使用Elk Stack的V6.7.1，这很旧，但我认为这不是问题...

Answer 1

当使用AWS CLI发布消息时，我从未解决此问题，但是对于我的特定用例，我试图使用awskinesis for Open Telemetry（Otel）Collector Agent- 在这里。

如果我使用otlp_json编码，则可以使用

  awskinesis:
    aws:
      stream_name: otelpoc
      region: ap-southeast-2
    encoding:
      name: otlp_json