Question

表格 20 Hadoop 优化列表

优化内容	最佳实践
mapper 的数量	运行 mapper 需要多长时间？
reducer 的数量	为了达到最高性能，reducer 的数目应该比 reducer 槽（由内存和 tasktracker 槽决定）的数目稍微少一点，这将 reducer 使 reducer 能够在同一波中完成任务。
combiner	作业能否充分利用 combiner 来减少通过 shuffle 传输的数据
中间值的产生	对 map 输出进行压缩能使作业执行更快
自定义序列	如果正在使用自定义的 writable 对象或自定义的 comparator，则必须确保已实现 RawComparator
shuffle	Shuffle 可以对一些内存管理的参数进行调整，弥补性能不足。

本章参考

[1]. 使用 Eclipse 编译运行 MapReduce 程序

[2]. HBase shell 常用命令 http://blog.csdn.net/scutshuxue/article/details/6988348

[3]. Standalone Deploy Mode : simplest way to deploy Spark on a private cluster

[4]. Spark running-on-mesos Apache Mesos

[5]. Spark running-on-yarn Hadoop YARN