单机上跑多个虚拟机搭建hadoop集群可以提高计算能力吗?
单机上跑多个虚拟机搭建hadoop集群可以提高计算能力吗?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
单机上跑多个虚拟机搭建hadoop集群可以提高计算能力吗?
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(3)
首先,跑虚拟机就要损耗性能,和资源。
然后,hadoop平台本身调度再损失一些。
最后,才是你的程序能使用的部分。
所以,还不如单机性能好。。。
如果,单机想尽可能使用多核优势,请使用openmp编程。
如果,你只是想体验一下mapreduce编程模型,那么推荐你几个轻量级的库。
bushreduce 100多行的bash脚本实现多节点任务调度,非常经典!
filemap File-Based Map-Reduce (python实现的类似的库还支持存储)
mapred.io 使用nodejs实现的任务调度,可以将浏览器或者其他的机器当成计算节点进行调度,无需搭建平台,打开一个网页就能添加一个节点!!!
一顿午饭, 一手一勺, 能吃的更饱吗?
并不会啊!!