AWS ETL的工作将数据写入CSV格式的S3存储桶

发布于 2025-02-11 19:29:31 字数 346 浏览 2 评论 0原文

我完全是AWS的新手,需要您的支持将我指向我的要求。

要求:

  • 我需要从S3存储桶中读取多个CSV文件,Union数据执行一些转换并将其加载到另一个S3存储桶中。

问题:

  • 我知道lambda是这样做的选择之一,但是数据是巨大的,所以我相信某个点15分钟的限制对我来说是一个问题。
  • 同样,对于胶水,我读到的内容我知道它确实会使输出为S3。

  • 您能否建议其他ELT服务以及帮助我​​入门的链接。

I am completly new to AWS, and need your support to point me to right direction on my requirement.

Requirement:

  • I need to read multiple csv files from s3 bucket, union the data perform some transformation and load it to another s3 bucket.

Issue:

  • I understand that Lambda is one of the option to do the same, but the data is huge so i belive at somepoint 15min limitation will be a issue to me.
  • Also for Glue ETL, fom what i read i understand it does suport the output to be s3.

Ask

  • Could you suggest any other ELT services and the link to help me get started.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文