分布式计算框架 (.NET) - 专门针对 CPU 密集型操作

Question

我目前正在研究可用于开发分布式应用程序的选项（开源和商业）。

“分布式系统由多个通过计算机网络进行通信的自治计算机组成。”维基百科

该应用程序专注于分发高度CPU 密集型 操作（而不是数据密集型），因此我确信 MapReduce 解决方案不符合要求。

您可以推荐的任何框架（+简要总结任何经验或与其他框架的比较）将不胜感激。

Answer 1

MPAPI 框架 -
http://www.codeplex.com/MPAPI

我的想法

• 似乎是更简单的解决方案之一。
• 我没有看到任何故障转移支持的证据。
• 是开源的 =] 并且与 MONO 兼容 YAY！
• 使用“RemotingLite”框架，提高单声道兼容性。
• 编写单计算机或多计算机（集群）应用程序同样简单。
• 开发人员的理念是“性能至上”。所以可以肯定地说他已经优化了。
• 不断更新的框架。

Answer 2

我是 Alchemi 的主要开发人员之一。
我们必须改变路线并重新开始，结果就是 Utilify 平台。
在概念上与 Alchemi 类似，Utilify 平台借鉴了 Alchemi 的经验教训，并提供了更灵活的编程模型来在 Windows 网络上构建分布式 .NET 应用程序。

请访问 www.utilify.com 了解更多信息。目前，有免费的测试版可供下载。

问候，
克里希纳。

Answer 3

Appistry CloudIQ Platform http://www.appistry.com

• 将制造数百台机器显示为一种计算资源。
• 目前在 FedEx 的生产中使用来运行路由算法
• 允许您用 C 编写应用程序， C++、Java 和 .Net
• 无单点故障
• 自动恢复/重试失败的任务

Answer 4

Alchemi“.NET 网格计算框架”

http://www. gridbus.org/~alchemi/publications.html

http://sourceforge.net/projects /alchemi/files/

Alchemi 是一个 .NET 网格计算框架，可让您轻松地将 Intranet 和 Internet 连接机器的计算能力聚合到虚拟超级计算机（计算网格）中，并开发在网格上运行的应用程序。

快速说明：

• 在 2007 年版本 1.0.6 (.NET 2.0) 中停止更新。
• 有据可查，正式这样做。
• 使用 XML 来定义作业。 （2007 年，一切都使用 XML 风靡一时）
• 与 MPAPI 相比相对复杂，但不要将此视为一个很大的负面影响。
• 需要花很多时间才能跟上速度。
• 是开源的=)。
• 可扩展，可以通过 Gridbus 代理与其他集群技术结合使用 (http://www.gridbus.org）
• 似乎被广泛使用（参见出版物 http://www.gridbus.org/~alchemi /publications.html) =)

Answer 5

Azure 网格 -
http://azuregrid.codeplex.com/

• Neudesic 网格计算框架的社区版本 (http://www.neudesic.com/insight/Publications/Pages/PUB20090428.aspx)
• 包括用于启动和监控作业运行的 GUI。
• 第 1 部分：网格计算设计模式Azure。
• 第 2 部分：编码Azure 网格应用程序。
• 部分3：运行 Azure 网格应用程序。

Answer 6

DryadLINQ 是一个 Microsoft 研究项目，允许LINQ 查询分布在多台计算机上，而不是像并行 LINQ 那样分布在多个核心上。

带有简短示例的博客文章。

Answer 7

适用于 .NET 的 AWS 开发工具包 -
http://aws.amazon.com/sdkfornet/

我认为这个云产品和.NET api也可能符合要求。亚马逊提供高性能机器（查看价格表），这将允许委托执行高度大规模CPU密集型运算。

Answer 8

NGrid - http://ngrid.sourceforge.net/

< em>概述

NGrid 是一个用 C# 编写的开源（LGPL）网格计算框架。

• 通过 Mono 独立于平台
  项目。
• 透明的多线程编程
  网格编程模型。
• 物理网格框架和一些网格
  实施。
• 电网的通用公用设施
  编程或网格实现。
• 最后更新于 2008 年 5 月