集成AWS Lambda和气流
这是我想做的。
注意：我是新手的气流。
目前，我们有一个使用MAP功能的步骤函数，因此我将一系列值传递给AWS lambdas，而步骤功能将通过数组循环，并触发lambda（并发设置为5，因此5 AWS Lambdas在任何给定时间）具有值为有效负载的值，一旦完成AWS lambda功能，请继续重复它。
我想完成的工作是，可以使用气流完成类似的事情吗？在哪里有一项射击的任务，说5个lambdas，其中的值0到4，一旦每个lambda完成，另一个lambda就会以下一个值作为有效载荷发射？ 在预处理步骤中提前计算阵列。
AWS Lambdas正在使用API从外部系统中提取数据。一切都在Python完成。
谢谢
Here is what I am trying to do.
NOTE: I am newbie to Airflow.
Currently we have a step function that uses Map functionality, so I would pass an array of values to AWS Lambdas and the step function would loop through array, and fire a lambda(Concurrency is set to 5, so 5 aws lambdas are running at any given time) with a value as payload, and keep repeating it once an Aws lambda function is done.
What I am looking to accomplish is, can something like this be done using Airflow ? Where I have a task that fires say 5 Lambdas with the values 0 till 4 from the array and once each lambda is done, another Lambda is fired with the next value as payload ?
The array is calculated ahead of time in the pre-processing step.
The AWS Lambdas are pulling data from external system using APIs. Everything is done in Python.
Thanks
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论