AWS ETL的工作将数据写入CSV格式的S3存储桶
我完全是AWS的新手,需要您的支持将我指向我的要求。
要求:
- 我需要从S3存储桶中读取多个CSV文件,Union数据执行一些转换并将其加载到另一个S3存储桶中。
问题:
- 我知道lambda是这样做的选择之一,但是数据是巨大的,所以我相信某个点15分钟的限制对我来说是一个问题。
- 同样,对于胶水,我读到的内容我知道它确实会使输出为S3。
问
- 您能否建议其他ELT服务以及帮助我入门的链接。
I am completly new to AWS, and need your support to point me to right direction on my requirement.
Requirement:
- I need to read multiple csv files from s3 bucket, union the data perform some transformation and load it to another s3 bucket.
Issue:
- I understand that Lambda is one of the option to do the same, but the data is huge so i belive at somepoint 15min limitation will be a issue to me.
- Also for Glue ETL, fom what i read i understand it does suport the output to be s3.
Ask
- Could you suggest any other ELT services and the link to help me get started.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论