CDH5.7.2环境跑比较大的任务时候,其他任务一直等待
CDH5.7.2环境跑比较大的任务时候,其他任务一直等待，小任务可以并行，
关键这个大任务，其实也不大也就10G的数据，我的配置8台128G内存的，CPU和内存还剩余好多，我觉得应该是配置的的问题，搜了好久，测试了好些参数配置都没有效果，所以才发帖子来问下的，谢谢大家了，请帮忙看看，我觉得肯定是这个任务占用了 分配的所有资源，导致其他任务只能等待。
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（8）
yarn和 mr 设置 yarn 你在可以申请出来的内存 mr opt是你要设置一个mr你要用多少 内存资源 yarn中还有一个设置 最大资源 和最小资源 就是控制mr opt的 ps：你从国家手上申请到1个亿 你只能拿9千万做流动 9千万 你要分到很多你的子公司 分9个 每个子公司1千万 子公司 人员开支 只能是9百万 其它的 都是调动资金 就是 java
是的 想大任务的时候，小任务也可以执行，能说下你是配置的那些参数么？
回复
就是我之前在测试集群上测试的时候，就是发现内存分配minimum那个参数影响的就是整个yarn内存分配的最小值，一个任务一次申请，最小也会是这么多内存，还有其他相似的参数。当然我也只是初学初试的beginner，不一定是对的，仅供参考吧
回复
@GestureWei : 好吧 谢谢~
你是想跑这个大任务的时候，其他的小任务也能同时运行？你看一下yarn的配置吧，yarn的话都是整块资源进行分配的，是不是跟yarn的配置有关系
这不是报错，没有日志产出的，
回复
如果是资源分配问题的话是会在yarn的日志中看到很多WARN日志，就在角色日志那里能看到的
在CDH上查下角色日志，看看有没有什么警告之类的信息？