将AWS运动型和运动式消防添加到现有的DynamoDB中

发布于 2025-01-28 08:40:30 字数 288 浏览 5 评论 0 原文

我们正在寻找添加运动型流和运动式消防方,以将数据从我们的DynamoDB操作数据存储迁移到S3。

我创建了Kinesis流和Kinesis Firehose交付流,以将数据发送到S3存储桶。所有插入,修改和删除事件都将被捕获,转换并添加到S3存储桶中,并使用数据前缀/[Year]/[montr]/[Day]捕获。

我的问题是在启用运动动力学之前围绕DynamoDB中的数据。将数据迁移到S3的最佳方法是什么?我知道您可以从DynamoDB表中进行S3导出,但这将数据放入预定义的文件夹中。

这里对最佳方法有任何想法吗?

We are looking to add Kinesis Streams and Kinesis Firehose to migrate data from our DynamoDB operational data store to S3.

I have created the Kinesis Stream and Kinesis Firehose Delivery Stream to send the data to an S3 bucket. All Insert, Modified and Remove events are being captured, transformed and added to the S3 bucket with a prefix of data/[YEAR]/[MONTH]/[DAY].

The question I have is around the data in the DynamoDB prior to enabling Kinesis. What is the best way to migrate the data to S3. I understand that you can do an Export to S3 from the DynamoDB table but that puts data into a predefined folder.

Any idea on the best approach here?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

╄→承喏 2025-02-04 08:40:30

DynamoDB流和DynamoDB导出的格式不同,因为它们的用例略有不同。但是,可以从两者中创建一个单一视图。如果您想对从DynamoDB导出到S3的数据上运行分析查询,则可能要使用athena作为SQL引擎。

  1. 使用DynamoDB导出从DynamoDB导出数据(
  2. 创建一个achena表格
  3. 在该导出的extort enable dynameDB流中通过firehose ( https://aws.amazon.com/blogs/big-data/build-seamless-data-streaming-pipelines-pipelines-with-amazon-kinesis-data-data-data-streams-and-mazon-kinesis-kinesis-kinesis-data-data-firehose-firehose-firehose-fore-for-mazon -dynamodb-table/
  4. 在该流上创建一个雅典娜表,
  5. 在这些表上创建统一的视图,以使其简单地查询。

The formats of the DynamoDB Stream and the DynamoDB Export are different, as they are serving slightly different use cases. Nevertheless, it is possible to create a single view from both. If you want to run analytical queries on the data that you exported from DynamoDB into S3, you probably want to use Athena as your SQL engine.

  1. Export the data from DynamoDB using DynamoDB Export (https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DataExport.html)
  2. Create an Athena table on that export
  3. Enable DynamoDB Stream into S3 through Firehose (https://aws.amazon.com/blogs/big-data/build-seamless-data-streaming-pipelines-with-amazon-kinesis-data-streams-and-amazon-kinesis-data-firehose-for-amazon-dynamodb-tables/)
  4. Create an Athena table on that stream
  5. Create a unified view on these tables to make them simple to query.
~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文