AWS Glue 作业状态仪表板

发布于 2025-01-10 07:26:55 字数 113 浏览 1 评论 0 原文

在我们的项目中,每天运行总共 10 个 Glue 作业。我想构建一个仪表板来显示过去 7 天的作业状态,这意味着成功或失败。尝试在 CloudWatch 中使用指标来实现它,但无法做到。请给出构建此仪表板的想法。

In our project total 10 Glue jobs are running daily. I would like to build a dashboard to show last 7 days jobs status it means either succeeded or failure. Tried to achieve it in CloudWatch with metrics, but not able do it. Please give an idea to build this dashboard.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

秋风の叶未落 2025-01-17 07:26:55

对于最初的提问者来说可能有点晚了,但可能对其他人有帮助。

我们的项目中有类似的任务。我们有很多工作,需要监控成功和失败。根据我们的经验,内置指标并不真正可靠,也不能真正回答工作是否成功的问题。
但我们找到了一种好方法,即以通用方式为所有作业生成自定义指标。这也适用于之后的现有作业,而无需更改代码。
我写了一篇关于它的文章: https://medium.com/@ettefette/metrics-for-aws-glue-jobs-as-you-know-them-from-lambda-functions-e5e1873c615c

我们已根据这些指标,我们使用 grafana 仪表板中的指标来监控粘合作业。

Probably a little late for the original questioner, but maybe helpful for others.

We had a similar task in our project. We have many jobs and need to monitor success and failure. In our experience, the built-in metrics aren't really reliable, nor do they really answer the question of whether a job was successful or not.
But we found a good way for us by generating custom metrics in a generic way for all jobs. This also works for existing jobs afterwards without having to change the code.
I wrote an article about it: https://medium.com/@ettefette/metrics-for-aws-glue-jobs-as-you-know-them-from-lambda-functions-e5e1873c615c

We have set cloudwatch alerts based on these metrics and we use the metrics in our grafana dashboard to monitor the glue jobs.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文