每当S3 Bucket&然后为每个文件触发胶水作业
我有一个通用的胶水作业,该作业将根据降落在S3存储桶中的文件名来执行。因此,现在我们正在创建一个基于事件的触发器,该触发器将执行工作流程。 (事件是每当S3中的文件土地时)。有什么方法可以获取文件详细信息,例如文件名或S3 URI,然后将此信息作为参数传递给工作流。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
aws文档解释如何将论据传递给胶水工作以及如何在工作本身中阅读它们。因此,基本上您的lambda会调用并通过
参数
(例如S3对象名称)到您的工作。启动时,这项工作将阅读通过并根据它们执行操作的论点。The AWS docs explain how to pass arguments to a glue job and how to read them in the job itself. So basically your lambda would call start_job_run and pass
Arguments
(e.g. S3 object name) to your job. The job, when started, would read the arguments passed and perform actions based on them.