amazon-kinesis-firehose

amazon-kinesis-firehose

文章 0 浏览 1

Kinesis FireHose支持更新操作是否在OpenSearch上

我正在使用FireHose(使用内置转换lambda)设计数据索引管道,例如:数据源-----(putrecordbatch)----------> Firehose ---(Lambda Transforma…

望笑 2025-01-17 18:28:18 6 0

Kinesis Firehose Lambda 转换和动态分区

以下提供的数据来自 faker 库。我正在努力学习和实施 kinesis Firehose 中的动态分区 示例负载输入 { "name":"Dr. Nancy Mcmillan", "phone_numbers":…

牵你的手,一向走下去 2025-01-17 09:31:53 4 0

什么决定了 aws-kinesis-agent 处理数据并将数据发送到 Kinesis 的速度?

有关于 AWS 中 Kinesis Firehose 配置的信息 - 但没有找到有关 aws-kinesis-agent 数据处理速度的任何信息 : AWS 文档 GitHub…

一抹微笑 2025-01-16 07:11:47 2 0

有没有办法将数据从 AWS Kinesis 发送到 Azure 事件中心?

我的公司正在对一些流数据进行 POC,其中一项任务是将数据从 AWS Kinesis 发送到 Azure 事件中心。 以前有人尝试过做这样的事情吗? 我正在考虑使用 l…

枕头说它不想醒 2025-01-13 22:18:40 5 0

kinesis firehose 流中嵌套 json 的 json 加载失败

我正在尝试使用 kinesis firehose 将 cloudwatch 指标流式传输到 S3。我正在使用 Lambda python 函数来操作数据。我的主要问题是当我尝试 json.load …

嘿哥们儿 2025-01-13 10:59:08 4 0

只能对某些 xcontent 字节或压缩的 xcontent 字节调用压缩器检测

我们正在尝试设置 AWS 集中日志记录。 CloudWatch 日志 => Kinesis 数据流 =>带 Transform 的 Firehouse(Python Lambda 函数)=> OpenSearch(ES) 我…

凉城凉梦凉人心 2025-01-13 00:56:56 4 0

AWS Kinesis Firehose lambda 如何向 ElasticSearch 发送更新和删除请求?

我没有看到 AWS Kinesis Firehose lambda 如何向 ElasticSearch(AWS OpenSearch 服务)发送更新和删除请求。 Elasticsearch 文档 API 提供 CRUD 操作…

后知后觉 2025-01-11 05:39:57 4 0

无法将日志从 kinesis firehose 发送到 opensearch

我有一个工作流程,其中: 所有 cloudwatch 日志都将流式传输到 Kinesis Firehose Delivery Stream。 它将从 Kinesis Firehose Delivery Stream 发送…

若沐 2025-01-11 05:23:23 5 0

AWS Firehose 交付错误:DynamicPartitioning.MetadataExtractionFailed

我使用 boto3 API 将一些数据发送到预先设计的动态分区的目标 S3 存储桶。这是我设置的: 这是我发送数据的方法: import base64 import boto3 import…

暗地喜欢 2025-01-11 04:39:30 4 0

我们如何命名通过 firehose 传输的文件?

我正在使用 boto3 构建一个架构,我希望将 JSON 格式的数据从 API 转储到 S3。现在阻碍我的是首先,firehose 不支持 JSON;我现在的解决方法是不压缩…

人疚 2025-01-10 08:33:29 5 0
更多

推荐作者

十二

文章 0 评论 0

飞烟轻若梦

文章 0 评论 0

OPleyuhuo

文章 0 评论 0

wxb0109

文章 0 评论 0

旧城空念

文章 0 评论 0

-小熊_

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文