每当S3 Bucket&然后为每个文件触发胶水作业

发布于 2025-02-12 07:25:43 字数 140 浏览 1 评论 0 原文

我有一个通用的胶水作业,该作业将根据降落在S3存储桶中的文件名来执行。因此,现在我们正在创建一个基于事件的触发器,该触发器将执行工作流程。 (事件是每当S3中的文件土地时)。有什么方法可以获取文件详细信息,例如文件名或S3 URI,然后将此信息作为参数传递给工作流。

I have a general glue job which will execute based on the file name that is landing in s3 bucket. So right now we are creating an event based trigger which will execute a workflow. (Event is whenever a file land in s3). Is there any way to get the file details like file name or s3 uri and then pass this info to the workflow as a parameter.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

神也荒唐 2025-02-19 07:25:44

如何将此菲尔名称用作我的胶作业的参数?

aws文档解释如何将论据传递给胶水工作以及如何在工作本身中阅读它们。因此,基本上您的lambda会调用并通过参数 (例如S3对象名称)到您的工作。启动时,这项工作将阅读通过并根据它们执行操作的论点。

how can i use this fiile name as a parameter for my glue job?

The AWS docs explain how to pass arguments to a glue job and how to read them in the job itself. So basically your lambda would call start_job_run and pass Arguments (e.g. S3 object name) to your job. The job, when started, would read the arguments passed and perform actions based on them.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文