在群集部署模式下Spark-Submit后,将应用程序ID获取特定文件
当我以群集模式部署应用程序时,我想在本地文件中获取应用程序ID。
为此,我已经编辑了log4j.properties文件并为客户端配置它,但我不起作用。
我还关注了这个博客: https://largecats.github.io/blog/2020/09/21/spark-cluster-mode-collect-log/ ,但不会获得令人满意的结果。
我还遵循此 ,但它在控制台上显示应用程序ID。
因此,请任何人帮助我,我一周就被困在那儿,但没有适当的解决方案。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
您应该在提交期间将
标签
设置为Spark应用程序,然后根据标签值询问YARN 。- conf spark.yarn.tags = tag-name
You should set the
tag
to your Spark app during submitting and laterask Yarn
based on tag value.--conf spark.yarn.tags=tag-name