在群集部署模式下Spark-Submit后,将应用程序ID获取特定文件

发布于 2025-02-11 15:54:44 字数 900 浏览 4 评论 0 原文

当我以群集模式部署应用程序时,我想在本地文件中获取应用程序ID。

为此,我已经编辑了log4j.properties文件并为客户端配置它,但我不起作用。

我还关注了这个博客: https://largecats.github.io/blog/2020/09/21/spark-cluster-mode-collect-log/ ,但不会获得令人满意的结果。

我还遵循此 ,但它在控制台上显示应用程序ID。

因此,请任何人帮助我,我一周就被困在那儿,但没有适当的解决方案。

I want to get application id in text file at local when I deploy application in cluster mode.

For this I had edited log4j.properties file and configs it for client but I is not working .

I had also followed this blog :https://largecats.github.io/blog/2020/09/21/spark-cluster-mode-collect-log/ but do not get satisfactory result.

I had also follow this spark-submit in cluster deploy mode get application id to console but it is showing application id on console.

so, please anyone help me , I am stuck there of a week but do not get proper solution.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

橪书 2025-02-18 15:54:44

您应该在提交期间将标签设置为Spark应用程序,然后根据标签值询问YARN 。

- conf spark.yarn.tags = tag-name

You should set the tag to your Spark app during submitting and later ask Yarn based on tag value.

--conf spark.yarn.tags=tag-name

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文