如何通过gcloud命令查看群集名称,数据ploc作业的执行时间

发布于 2025-02-02 01:02:31 字数 251 浏览 3 评论 0原文

我们需要调查在特定日期运行的DataProc作业。 在运行命令时 -

gcloud dataproc jobs list --region=<region_name>

有助于以低于输出格式 -

JOB_ID   TYPE    STATUS

类型可以是火花/蜂巢,并且可以完成状态/错误

是否有任何方法可以检查工作执行时间和群集名称?

We need to investigate dataproc jobs ran on particular date.
While running command -

gcloud dataproc jobs list --region=<region_name>

It helps to get below output format -

JOB_ID   TYPE    STATUS

where TYPE could be spark/hive and STATUS could be DONE/ERROR

is there any way to check job execution time and cluster name as well ?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

錯遇了你 2025-02-09 01:02:31

我能够在此围绕此设置的最好的事情

gcloud dataproc jobs list --region=europe-north1 \
--format="table(reference.jobId,status.state,statusHistory[0].stateStartTime,status.stateStartTime,labels.job_type,labels.technology)"  \
--filter='status.state = INACTIVE AND placement.clusterName=your-cluster-name AND labels.job_type=ingestion ' \
--limit=5

可以为您提供给定数据pos作业的开始和结束时间,

statusHistory[0].stateStartTime,status.stateStartTime

如果您设置了任何设置,也可以选择labels

但是,我仍然无法弄清楚在给定持续时间内获取工作细节。看起来不可能通过gcloud

对答案的任何更新/建议都非常感谢。

The best thing I was able to code around this as

gcloud dataproc jobs list --region=europe-north1 \
--format="table(reference.jobId,status.state,statusHistory[0].stateStartTime,status.stateStartTime,labels.job_type,labels.technology)"  \
--filter='status.state = INACTIVE AND placement.clusterName=your-cluster-name AND labels.job_type=ingestion ' \
--limit=5

Setting up below can give you the start and end time for a given dataproc job

statusHistory[0].stateStartTime,status.stateStartTime

you can also opt for labels if you have set any.

However, I still not able to figure out to get the job details for a given duration. Looks like its not possible via gcloud.

Any update/suggestion to the answer is much appreciated.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文