HBase、MapReduce 和 HDFS 可以在安装并运行 Hadoop 的单台机器上工作吗？

Question

我正在研究一个搜索引擎设计，该引擎将在云上运行。 我们刚刚开始，对 Hdoop 还没有太多了解。 谁能告诉我 HBase、MapReduce 和 HDFS 是否可以在安装并运行 Hdoop 的单台机器上工作？

Answer 1

是的，你可以。您甚至可以创建一个虚拟机并在一台“计算机”上运行它（这就是我所拥有的:)）。

关键是简单地以“伪分布式模式”安装 Hadoop，甚至在Hadoop 快速入门中进行了描述。

如果您使用 Cloudera 发行版，他们甚至已经在 RPM 中创建了所需的配置。 在此处查看更多信息。

​

Answer 2

是的。在我的开发环境中，我运行

• NameNode（HDFS）
• SecondaryNameNode（HDFS）
• DataNode（HDFS）
• JobTracker（MapReduce）
• TaskTracker（MapReduce）
• Master（HBase）
• RegionServer（HBase）
• QuorumPeer（ZooKeeper - HBase需要）

此外，我运行我的应用程序，以及映射和减少任务跟踪器启动的任务。
在同一台机器上运行如此多的进程会导致对 CPU 核心、内存和磁盘 I/O 的大量争用，因此对于高性能来说肯定不是很好，但除了可用资源量之外没有任何限制。

Answer 3

同样，我在一台计算机上运行 hadoop/hbase/hive。
如果你真的想在一台计算机上看到分布式计算，请获取大量 RAM、一些硬盘空间，然后像这样进行 -

1. 创建一两个虚拟机（使用虚拟机）
2. 在每台计算机上安装 hadoop，让你真正安装（不是任何虚拟的）作为主服务器，其余的从服务器
3. 现在为真实的分布式环境配置hadoop
4. ，当hadoop启动时，你实际上应该有一个由多台计算机组成的集群（一台真实的，其余虚拟的）

这可能只是一个实验，因为除非你有一个像样的多CPU或多核系统，这样的配置实际上会消耗更多的维护本身而不是给你带来任何性能。

祝你好运。

--l4l