hive on spark on yarn 任务一直 是running状态

发布于 2021-11-27 11:43:12 字数 227 浏览 925 评论 1

@stark_summer 你好,想跟你请教个问题:

hive配置成spark引擎,提交任务到yarn,执行SQL 能够正确的返回结果,但是执行完毕,任务的状态一直是running,并且占用的内存资源也不能够释放。请大侠指导下

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

凌乱心跳 2021-12-02 07:51:10

spark on hive引擎去执行SQL,其实质是使用了spark-shell.sh。进程会一直启动这,你可以在web层去查看spark的进程,使用F12查看网络,就会发现一直处于占用中。有2种方式可以解决这种:

1)使用F12找到network里对应的ID,在linux端直接kill掉。

2)关闭spark服务,重启。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文