mapreduce,spark,storm这些并行计算框架只是把大量任务分配到不同机器上吧,并不能达到整合大批机器的资源的目的?

发布于 2022-09-03 08:09:39 字数 116 浏览 19 评论 0

也就是说单个机器上最细粒度程序的运算时间并不能通过这些框架提高,是不是?比如
一个计算任务是10000个程序a,程序a在单台机器上运行了10min,那么换做在这些并行计算框架上跑,程序a自己的运算时间不会降低吧?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

╰沐子 2022-09-10 08:09:41

除了计算性能以外,IO性能也是很要命的。分布式计算就是把IO负载分散了,同一份数据,分散存储,本地计算,结果汇总。这就是MapReduce的思想。

再强壮的人,要他搬一万块砖他也怂,特别是某些时候,还必须要一口气搬起来。但是如果你让1k个小个子同时每人搬起10块,只要指挥好就行了。而且往往请一个猛男很贵很贵,但是请小个子就便宜多了,不行随时还可以换。从企业的角度,更有诱惑力。

絕版丫頭 2022-09-10 08:09:40

你的理解没错。

并行计算的意义在于:
我们可以等1000个机子跑100分钟
没法等1台自己跑100000分钟(近70天)

而阿里云按需使用 高配4核
可以按小时计费 1元每台机子
也就是说 并行计算 2000元 2个小时

或者你等3个月

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文