无法将日志从 kinesis firehose 发送到 opensearch

Question

我有一个工作流程，其中：

• 所有 cloudwatch 日志都将流式传输到 Kinesis Firehose Delivery Stream。
• 它将从 Kinesis Firehose Delivery Stream 发送到 Opensearch。

但是，Kinesis 无法将数据放入 opensearch 并返回错误：

The Amazon OpenSearch Service cluster returned a JsonParseException. Ensure that the data being put is valid.

我也尝试了Firehose 的所有可用 Lambda 蓝图来转换记录，但没有成功。

任何建议表示赞赏。

谢谢。

Answer 1

我提出了 AWS 票证并得到了此回复

据我所知，您正在实施以下数据流：

记录器 Lambda--> Cloudwatch日志组-->消防水带（拉姆达
转型）-->流式传输到 Opensearch

您遇到来自 OpenSearch 服务的以下错误消息：

-- 错误消息：Amazon OpenSearch Service 集群返回了 JsonParseException。确保数据被放入
是有效的。错误代码：OS.JsonParseException

根据错误消息，它表明数据正在发送到
OpenSearch 集群不是有效的 JSON 对象。 Cloudwatch 日志组
将针对 firehose 在一条记录中发送多个日志，结果是
发送到 OpenSearch 集群的 JSON 无效，因为 OpenSearch
仅接受单个 JSON 对象作为数据格式。同时，
Firehose 不允许传回的记录多于已传递的记录
到它的转换 Lambda 函数。因此，不可能
使用当前管道。

AWS 支持

1. CloudWatch Logs 建议的解决方法 -> Kinesis 数据流 ->拉姆达->消防水带 -> OpenSearch
2. CloudWatch 日志 ->拉姆达->消防水带 -> OpenSearch
3. CloudWatch 日志（订阅过滤器）-> OpenSearch

我想知道您对此的想法。