AWS Glue 作业状态仪表板
在我们的项目中,每天运行总共 10 个 Glue 作业。我想构建一个仪表板来显示过去 7 天的作业状态,这意味着成功或失败。尝试在 CloudWatch 中使用指标来实现它,但无法做到。请给出构建此仪表板的想法。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
在我们的项目中,每天运行总共 10 个 Glue 作业。我想构建一个仪表板来显示过去 7 天的作业状态,这意味着成功或失败。尝试在 CloudWatch 中使用指标来实现它,但无法做到。请给出构建此仪表板的想法。
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(1)
对于最初的提问者来说可能有点晚了,但可能对其他人有帮助。
我们的项目中有类似的任务。我们有很多工作,需要监控成功和失败。根据我们的经验,内置指标并不真正可靠,也不能真正回答工作是否成功的问题。
但我们找到了一种好方法,即以通用方式为所有作业生成自定义指标。这也适用于之后的现有作业,而无需更改代码。
我写了一篇关于它的文章: https://medium.com/@ettefette/metrics-for-aws-glue-jobs-as-you-know-them-from-lambda-functions-e5e1873c615c
我们已根据这些指标,我们使用 grafana 仪表板中的指标来监控粘合作业。
Probably a little late for the original questioner, but maybe helpful for others.
We had a similar task in our project. We have many jobs and need to monitor success and failure. In our experience, the built-in metrics aren't really reliable, nor do they really answer the question of whether a job was successful or not.
But we found a good way for us by generating custom metrics in a generic way for all jobs. This also works for existing jobs afterwards without having to change the code.
I wrote an article about it: https://medium.com/@ettefette/metrics-for-aws-glue-jobs-as-you-know-them-from-lambda-functions-e5e1873c615c
We have set cloudwatch alerts based on these metrics and we use the metrics in our grafana dashboard to monitor the glue jobs.