Spark: memory.ExecutionMemoryPool 报内存释放失败警报
跑一个 spark 程序时，从日志看到很多 task failed，从 executor 的日志看到多个 executor 报
WARN memory.ExecutionMemoryPool: Internal error: release called on 5242880 bytes but task only has 0 bytes of memory from the on-heap execution pool的错误。
从 Spark 的源码看到这段警报来自于这里，在结束 task 释放内存时触发的，那么这种警报的出现原因是什么呢？既然是 warn 而不是 error，对运行结果有什么影响呢？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
这个虽然是warning，但是说"0 bytes of memory"，说明已经没内存了，那你的jvm分分钟会OOM挂掉的。解决方法还是加内存，然后减少中间结果的缓存，或者部分缓存在磁盘中