Question

Kubernetes 的实现参考了 Google 内部的资源调度框架，但并不是 Borg 的内部容器编排系统的开源，而是借鉴 Google 从运行 Borg 获得的经验教训，形成了 Kubernetes 项目。它使用 Label 和 Pod 的概念来将容器划分为逻辑单元。Pods 是同地协作（co- located）容器的集合，这些容器被共同部署和调度，形成了一个服务，这是 Kubernetes 和其他两个框架的主要区别。相比于基于相似度的容器调 度方式（就像 Swarm 和 Mesos），这个方法简化了对集群的管理。

Kubernetes 借鉴了 Borg 的设计理念，比如 Pod、Service、Labels 和单 Pod 单 IP 等。Kubernetes 的整体架构跟 Borg 非常像，如下图所示

图 Kubernetes 架构

图 K8s 结构

Kubernetes 基本概念：

• ControlPlane：暴露应用程序接口（API），调度部署和管理整个集群。
• WorkerNodes：物理或者虚拟的服务器，负责运行工作负载。
• APIServer：外部与 Kubernetes 的互动点。
• Etcd：默认采用 CoreOS 的产品 etcd ，提供键值存储、服务发现、服务注册功能。
• Kubelet：节点上的代理，负责执行 Kubernetes Master 分配的任务。
• Pods: 由同一主机上部署的一个或几个容器组成的计算能力单位，执行相同的任务。
• Services：Pods 的前端和 Load Balancer，为 Pods 提供 Floating IP。
• Replicationcontrollers：负责维护指定数目的 Pods。
• Labels：key-value 标签以一种非层次化、松散的方式标记、查找 Kubernetes 中的 Pods/Replication Controllers/Services 等资源。

Kubernetes 的核心组件组成： K8s Master 的 4 个和 K8s Node 的 3 个。

图 K8s master

备注：K8s master 由四部分组成，分别是 API Server、Scheduler、Controller 和 etcd。

• API Server 提供了资源操作的唯一入口，并提供认证、授权、访问控制、API 注册和发现等机制；

• Scheduler 负责资源的调度，按照预定的调度策略将 Pod 调度到相应的机器上；

• Controller manager 负责维护集群的状态，比如故障检测、自动扩展、滚动更新等；

• etcd 保存了整个集群的状态；

  

图 K8s Node

K8s Node 的 3 个组件：

• kubelet: 负责维护容器的生命周期，同时也负责 Volume（CVI）和网络（CNI）的管理；
• Container runtime 负责镜像管理以及 Pod 和容器的真正运行（CRI）；
• kube-proxy: 负责为 Service 提供 cluster 内部的服务发现和负载均衡；

除了核心组件，还有一些推荐的 Add-ons：

• kube-dns 负责为整个集群提供 DNS 服务
• Ingress Controller 为服务提供外网入口
• Heapster 提供资源监控
• Dashboard 提供 GUI，类似管理 UI 有 scope, Promethus.
• Federation 提供跨可用区的集群
• Fluentd-elasticsearch 提供集群日志采集、存储与查询
• Helm: kubernetes 环境下的 yum 包管理工具。

分层架构

Kubernetes 设计理念和功能其实就是一个类似 Linux 的分层架构，如下图所示

图 K8s 分层架构

• 内核层 Nucleus：Kubernetes 最核心的功能，对外提供 API 构建高层的应用，对内提供插件式应用执行环境。必选。

• 应用层：部署（无状态应用、有状态应用、批处理任务、集群应用等）和路由（服务发现、DNS 解析等）。

• 管理层：系统度量（如基础设施、容器和网络的度量），自动化（如自动扩展、动态 Provision 等）以及策略管理（ RBAC 、Quota、PSP、NetworkPolicy 等）

• 接口层： kubectl 命令行工具 、客户端 SDK 以及集群联邦

• 生态系统：在接口层之上的庞大容器集群管理调度的生态系统，可以划分为两个范畴

• • Kubernetes 外部：日志、监控、配置管理、CI、CD、Workflow、FaaS、OTS 应用、ChatOps 等
  • Kubernetes 内部：CRI、CNI、CVI、镜像仓库、Cloud Provider、集群自身的配置和管理等

网络模型

1. pod 是一个网络；

   • 同一个 pod 内的多个容器间：lo
   • 各 pod 之间的通信：
   • Pod 与 Service 之间的通信：在每一个 node 节点上运行一个守护进程，kube-proxy 组件，随时与 api server 进行通信，每一个 pod 地址发生变化的时候需要保存在 API server 中，然后 kube-proxy 在那个地址反应在本地的 iptables 或 ipvs 规则中。

2. service 是一个网络；

3. node 是一个网络；

k8s 通过 CNI(容器网络接口) 插件体系来接入外部的网络服务解决方案：

• flannel：网络配置，纯粹的叠加网络实现；

• calico：网络配置，网络策略，三层隧道网络，可以直接使用 bgp；

• canel: