Question

Apache Mesos 是一个通用的集群管理器，起源于 Google 的数据中心资源管理系统 Borg。

Mesos 诞生于 UC Berkeley 的一个研究项目，后成为 Apache 项目。2021.4.7，Apache 将 Mesos 移入 Attic 下。

Apache Mesos 为了简化设计，也是采用了 master/slave 结构，为了解决 master 单点故障，将 master 做得尽可能地轻量级，其上面所有的元数据可以通过各个 slave 重新注册而进行重构，故很容易通过 zookeeper 解决该单点故障问题。

Mesos 是一个分布式调度系统内核，早于 Docker 产生，Mesos 作为资源管理器，从 DC/OS(数据中心操作系统) 的角度提供资源视图。主/从结构工作模式，主节点分配任务，并用从节点上的 Executor 负责执行， 通过 Zookeeper 给主节点提供服务注册、服务发现功能。通过 Framework Marathon 提供容器调度的能力。

图 Mesos 架构 1

图 Mesos 主从结构

Apache Mesos 由四个组件组成，分别是 Mesos-master，mesos-slave，framework 和 executor。

• Mesos-master：Mesos master，主要负责管理各个 framework 和 slave，并将 slave 上的资源分配给各个 framework
• Mesos-slave：Mesos slave，运行 Mesos Agent ,并执行执行分配的任务。负责管理本节点上的各个 mesos-task，比如：为各个 executor 分配资源
• Framework：计算框架，资源的二度调度框架，通过在 Agent 上部署 Executor 来执行计划的任务。Mesos 支持的 Framework 有 Hadoop、Spark、MPI、Marathon，通过 Marathon Framework 完成容器编排的功能。当用户试图添加一种新的计算框架到 Mesos 中时，需要实现一个 Framework scheduler 和 executor 以接入 Mesos。
• Executor：执行器，安装到 mesos-slave 上，用于启动计算框架中的 task。

Zookeeper：服务注册、服务发现，同时可以在高可用的环境中选取 Master 节点。

本章参考

• Apache Mesos 总体架构 http://dongxicheng.org/apache-mesos/meso-architecture/
• 大数据领域两大最主流集群管理工具 Ambari 和 Cloudera Manger https://www.cnblogs.com/zlslch/p/6118862.html
• 四大集群管理工具大比拼 http://www.sohu.com/a/74693243_183588
• YARN 与 Mesos 比较： http://www.quora.com/How-does-YARN-compare-to-Mesos