mapreduce,spark,storm这些并行计算框架只是把大量任务分配到不同机器上吧,并不能达到整合大批机器的资源的目的?
也就是说单个机器上最细粒度程序的运算时间并不能通过这些框架提高,是不是?比如
一个计算任务是10000个程序a,程序a在单台机器上运行了10min,那么换做在这些并行计算框架上跑,程序a自己的运算时间不会降低吧?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
除了计算性能以外,IO性能也是很要命的。分布式计算就是把IO负载分散了,同一份数据,分散存储,本地计算,结果汇总。这就是MapReduce的思想。
再强壮的人,要他搬一万块砖他也怂,特别是某些时候,还必须要一口气搬起来。但是如果你让1k个小个子同时每人搬起10块,只要指挥好就行了。而且往往请一个猛男很贵很贵,但是请小个子就便宜多了,不行随时还可以换。从企业的角度,更有诱惑力。
你的理解没错。
并行计算的意义在于:
我们可以等1000个机子跑100分钟
没法等1台自己跑100000分钟(近70天)
而阿里云按需使用 高配4核
可以按小时计费 1元每台机子
也就是说 并行计算 2000元 2个小时
或者你等3个月