开源分布式计算/云计算框架

发布于 2024-07-25 10:27:04 字数 102 浏览 3 评论 0 原文

我想知道是否有人知道任何好的开源分布式计算项目? 我有一个计算密集型程序,可以从分布式计算中受益(如 SETI@Home 等),并且想知道是否有人见过这样的东西,或者我会从头开始开发它吗?

I was wondering if anyone knows of any good Open Source distributed computing projects? I have a computationally intensive program that could benefit from distributed computing (a la SETI@Home, etc.) and want to know if anyone has seen such a thing or will I be developing it from scratch?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(6

最近可好 2024-08-01 10:27:04

我发现这已经一年多了,但这是一个新的相关答案

http://openstack.org/

I see that this is over a year old but this is a new and relevant answer

http://openstack.org/

白首有我共你 2024-08-01 10:27:04

这是用于 java 的 one,这是一个开源网格工具包

Here's one for java and one for c# and here's an open source grid toolkit.

尴尬癌患者 2024-08-01 10:27:04

SETI@Home 使用 BOINC

SETI@Home uses BOINC

盗梦空间 2024-08-01 10:27:04

MPAPI - 并行和分布式应用程序框架。

  • 第 0 区文章:
    http://sector0.dk/?page_id=15

  • 很好地概述了
    框架、架构和
    其背后的理论。

  • 在一台机器上工作到“n”
    机器。

  • 将分布式逻辑设计到
    系统。

  • 专注于消息传递以进行隔离
    每个线程可以访问的状态
    即仅无共享状态
    消息。

  • 是开源的 =] 并且是 MONO
    兼容 YAY!

架构简述

集群

  • 单一主节点
  • 控制集群
  • 众多子节点(每台机器一个),它们是集群的主力
  • 单一注册服务器 - 通过允许节点通过集群通知注册/取消注册,将集群绑定在一起
    现有节点

直接通信

  • 节点到节点。 每个工人
    通过以下方式与他人沟通
    节点。
  • 这些消息不是
    通过远程处理向下传播
    除非有两个工人在
    不同的节点。

MPAPI - Parallel and Distributed Applications Framework.

  • Sector 0 Article:
    http://sector0.dk/?page_id=15.

  • Gives a good overview of the
    framework, architecture and the
    theory behind it.

  • Works on a single machine to 'n'
    machines.

  • Design distributed logic into the
    system.

  • Focuses on message passing to isolate
    the state that each thread has access
    to i.e. no shared state only
    messages.

  • Is Open Source =] and is MONO
    Compatible YAY!

Architecture in a Nutshell

Cluster

  • Single Main Node
  • Controls the cluster
  • Numerous Sub-Nodes (one per machine) which are the work horses of the cluster
  • Single Registration Server - Binds the cluster together by allowing nodes to register / unregister with cluster notifying
    existing nodes

Communication

  • Node to Node directly. Each worker
    communicates with others through the
    node.
  • The messages are not
    propagated down through the remoting
    layer unless two workers are on
    different nodes.
勿忘初心 2024-08-01 10:27:04

如果您想自己运行机器,请使用 Hadoop。 如果您想让其他人运行您的工作程序,请选择 Amazon Elastic MapReduce。 Amazon Elastic MapReduce 基于 Hadoop。

Hadoop if you want to run the machines yourself. Amazon Elastic MapReduce if you want to let others run your workers. Amazon Elastic MapReduce is based on Hadoop.

岁月流歌 2024-08-01 10:27:04

我个人使用过 BOINC,这是一个强大的解决方案,被广泛使用,并为您提供了多种可能性定制。
这是我所知道的最完整的解决方案。 我遇到的唯一问题是很难用于远程作业提交(如果您无权访问服务器)并且设置时间可能有点长。 但总体来说这是一个非常好的解决方案。

如果您想在本地网格上实现分布式计算,您可以使用 GridCompute,它应该可以快速设置并允许您通过 python 脚本使用您的应用程序。

PS:我是GridCompute的开发人员。

I have personally used BOINC which is a robust solution, widely used and offer you a great range of possibilities in term of customization.
This is the most complete solution I know. The only problems I had were that it was difficult to use for remote job submission (if you don't have access to the server) and it can be a bit long to setup. But overall it is a very good solution.

If you rather want to implement distributed computing just over a local grid, you can use GridCompute that should be quick to set up and will let you use your application through python scripts.

PS: I am the developer of GridCompute.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文