hive on spark on yarn 任务一直 是running状态
@stark_summer 你好,想跟你请教个问题:
hive配置成spark引擎,提交任务到yarn,执行SQL 能够正确的返回结果,但是执行完毕,任务的状态一直是running,并且占用的内存资源也不能够释放。请大侠指导下
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
spark on hive引擎去执行SQL,其实质是使用了spark-shell.sh。进程会一直启动这,你可以在web层去查看spark的进程,使用F12查看网络,就会发现一直处于占用中。有2种方式可以解决这种:
1)使用F12找到network里对应的ID,在linux端直接kill掉。
2)关闭spark服务,重启。