开源分布式计算/云计算框架
我想知道是否有人知道任何好的开源分布式计算项目? 我有一个计算密集型程序,可以从分布式计算中受益(如 SETI@Home 等),并且想知道是否有人见过这样的东西,或者我会从头开始开发它吗?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
我想知道是否有人知道任何好的开源分布式计算项目? 我有一个计算密集型程序,可以从分布式计算中受益(如 SETI@Home 等),并且想知道是否有人见过这样的东西,或者我会从头开始开发它吗?
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(6)
我发现这已经一年多了,但这是一个新的相关答案
http://openstack.org/
I see that this is over a year old but this is a new and relevant answer
http://openstack.org/
这是用于 java 的 one 和 ,这是一个开源网格工具包。
Here's one for java and one for c# and here's an open source grid toolkit.
SETI@Home 使用 BOINC
SETI@Home uses BOINC
MPAPI - 并行和分布式应用程序框架。
第 0 区文章:
http://sector0.dk/?page_id=15。
很好地概述了
框架、架构和
其背后的理论。
在一台机器上工作到“n”
机器。
将分布式逻辑设计到
系统。
专注于消息传递以进行隔离
每个线程可以访问的状态
即仅无共享状态
消息。
是开源的 =] 并且是 MONO
兼容 YAY!
架构简述
集群
现有节点
直接通信
通过以下方式与他人沟通
节点。
通过远程处理向下传播
除非有两个工人在
不同的节点。
MPAPI - Parallel and Distributed Applications Framework.
Sector 0 Article:
http://sector0.dk/?page_id=15.
Gives a good overview of the
framework, architecture and the
theory behind it.
Works on a single machine to 'n'
machines.
Design distributed logic into the
system.
Focuses on message passing to isolate
the state that each thread has access
to i.e. no shared state only
messages.
Is Open Source =] and is MONO
Compatible YAY!
Architecture in a Nutshell
Cluster
existing nodes
Communication
communicates with others through the
node.
propagated down through the remoting
layer unless two workers are on
different nodes.
如果您想自己运行机器,请使用 Hadoop。 如果您想让其他人运行您的工作程序,请选择 Amazon Elastic MapReduce。 Amazon Elastic MapReduce 基于 Hadoop。
Hadoop if you want to run the machines yourself. Amazon Elastic MapReduce if you want to let others run your workers. Amazon Elastic MapReduce is based on Hadoop.
我个人使用过 BOINC,这是一个强大的解决方案,被广泛使用,并为您提供了多种可能性定制。
这是我所知道的最完整的解决方案。 我遇到的唯一问题是很难用于远程作业提交(如果您无权访问服务器)并且设置时间可能有点长。 但总体来说这是一个非常好的解决方案。
如果您想在本地网格上实现分布式计算,您可以使用 GridCompute,它应该可以快速设置并允许您通过 python 脚本使用您的应用程序。
PS:我是GridCompute的开发人员。
I have personally used BOINC which is a robust solution, widely used and offer you a great range of possibilities in term of customization.
This is the most complete solution I know. The only problems I had were that it was difficult to use for remote job submission (if you don't have access to the server) and it can be a bit long to setup. But overall it is a very good solution.
If you rather want to implement distributed computing just over a local grid, you can use GridCompute that should be quick to set up and will let you use your application through python scripts.
PS: I am the developer of GridCompute.