Hadoop全分布式模式

Question

我是 Hadoop 的新手。我已经成功开发了一个简单的 Map/Reduce 应用程序，该应用程序在“伪分布式模式”下运行良好。我想在“完全分布式模式”下测试它。对此我有几个问题；

1. 处理 1-10GB 的文件大小需要多少台机器（节点）（最少和推荐）？
2. 硬件要求是什么（主要是我想知道核心数量、内存空间和磁盘空间）？

Answer 1

我会查看 Cloudera 的硬件建议： http://www.cloudera.com/blog/2010/03/clouderas-support-team-shares-some-basic-hardware-recommendations/

该页面的片段

适用于不同工作负载的各种硬件配置，包括我们最初的“基础”推荐：

• 光处理配置
  （1U/机器）： 两个四核 CPU，8GB
  内存和 4 个磁盘驱动器（1TB 或
  2TB）。注意CPU密集型工作
  比如自然语言处理
  涉及将大型模型加载到
  RAM在处理数据之前应该
  配置 2GB RAM/核心
  而不是 1GB RAM/核心。
• 平衡计算配置（1U/机器）：两个四核 CPU、16 至 24GB 内存以及使用主板控制器直接连接的 4 个磁盘驱动器（1TB 或 2TB）。这些通常以双胞胎形式提供，在单个 2U 机柜中具有两个主板和 8 个驱动器。
• 存储重型配置（2U/机器）：两个四核 CPU、16 至 24GB 内存和 12 个磁盘驱动器（1TB 或 2TB）。此类机器的功耗在空闲状态下约为 200W 左右，在活动状态下可高达 350W 左右。
• 计算密集型配置（2U/机器）：两个四核 CPU、48-72GB 内存和 8 个磁盘驱动器（1TB 或 2TB）。当需要大型内存模型和大量参考数据缓存的组合时，通常会使用它们。