关于 CentOS 6 下 Hadoop 占用系统态 CPU 高的处理办法

Question

一次不经意发现 Hadoop 的系统态 CPU 使用率很高，然后百度一下居然是个 已知问题 。

RHEL6 优化了内存申请的效率，而且在某些场景下对 KVM 的性能有 明显提升 ：http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf。

而 Hadoop 是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型 Java 程序应该更多的使用用户态 CPU 才对，Cloudera 官方也推荐 关闭 THP 。于是参考 一些文章 作了调整：

# for hadoop , disable thp
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

作用非常明显：

效果很明显，大概 12:05 分的时候操作的，系统态占用基本消失了。文件 Cache 使用上升 、机器负载下降。

除了手动修改运行时参数之外，还可以修改 /etc/grub.conf 里内核的启动参数，追加“transparent_hugepage=never”（此选项只对 /sys/kernel/mm/redhat_transparent_hugepage/enabled 有效）。

原本 transparent_hugepage 功能是在内核 2.6.38 之后才引入的，红帽在 RHEL6 就将此功能合并进来、详细还有待进一步了解。