单机上跑多个虚拟机搭建hadoop集群可以提高计算能力吗?

发布于 2022-09-01 20:41:16 字数 36 浏览 11 评论 0

单机上跑多个虚拟机搭建hadoop集群可以提高计算能力吗?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

寂寞笑我太脆弱 2022-09-08 20:41:16

首先,跑虚拟机就要损耗性能,和资源。
然后,hadoop平台本身调度再损失一些。
最后,才是你的程序能使用的部分。

所以,还不如单机性能好。。。

如果,单机想尽可能使用多核优势,请使用openmp编程。

如果,你只是想体验一下mapreduce编程模型,那么推荐你几个轻量级的库。

  1. bushreduce 100多行的bash脚本实现多节点任务调度,非常经典!

  2. filemap File-Based Map-Reduce (python实现的类似的库还支持存储)

  3. mapred.io 使用nodejs实现的任务调度,可以将浏览器或者其他的机器当成计算节点进行调度,无需搭建平台,打开一个网页就能添加一个节点!!!

第几種人 2022-09-08 20:41:16

一顿午饭, 一手一勺, 能吃的更饱吗?

一身骄傲 2022-09-08 20:41:16

并不会啊!!

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文