K8s 作业和 pod 在使用主机+子域时的差异

Question

我有Helm 3使用的K8。

1. 我需要在YAML文件（由Helm创建）运行时访问K8S作业。

kubectl版本：

客户端版本：version.info {major：“ 1”，Minor：“ 21”， gitversion：“ v1.21.6”， GitCommit：“ D921BC6D1810DA51177FBD0ED61DC811C5228097”， gittreestate：“清洁”，builddate：“ 2021-10-27T17：50：34Z”， Goverion：“ GO1.16.9”，编译器：“ GC”，Platform：“ Linux/amd64”}服务器 版本：版本。 GitCommit：“ D921BC6D1810DA51177FBD0ED61DC811C5228097”， gittreestate：“清洁”，builddate：“ 2021-10-27T17：44：26z”， GoVersion：“ GO1.16.9”，编译器：“ GC”，Platform：“ Linux/amd64”}

Helm版本：

version.buildinfo {版本：“ v3.3.4”， GitCommit：“ A61CE5633AF99708171414353ED49547CF05013D”， gittreestate：“清洁”，goversion：“ go1.14.9”}

作为以下链接：

https://kubernetes.io/docs/concepts/services-networking/dns-pod-service/#:%7edcm-bot-890c06f7dff54e2ff54e2d9d9d9d9d35332364e 不适合POD。

如所解释的那样，将主机名和子域放入POD的YAML文件中，并添加保存域的服务...

2. 是否需要检查状态。

对于POD，它已经准备就绪状态。

kubectl wait pod/pod-name --for=condition=ready ...

对于工作，没有现成的状态（而背后的POD正在运行）。

我如何检查工作背后的POD状态（作业正在运行）？如何将HOST +子域用于工作？

我的代码... 删除了一些安全标签，但是相同。

（我 作业）：

侦听器（POD是最后一个工作）：

我添加的是主机名和子域（适用于POD，而不是工作）。如果它在豆荚上 - 没问题。

我还意识到，POD的名称（由作业创建）具有哈希自动扩展名。

apiVersion: batch/v1
kind: Job
metadata:
  name: {{ include "my-project.fullname" . }}-listener
  namespace: {{ .Release.Namespace }}
  labels:
    name: {{ include "my-project.fullname" . }}-listener
    app: {{ include "my-project.fullname" . }}-listener
    component: {{ .Chart.Name }}
    subcomponent: {{ .Chart.Name }}-listener
  annotations:
    "prometheus.io/scrape": {{ .Values.prometheus.scrape | quote }}
    "prometheus.io/path": {{ .Values.prometheus.path }}
    "prometheus.io/port": {{ .Values.ports.api.container | quote }}
spec:
  template: #PodTemplateSpec (Core/V1)
    spec: #PodSpec (core/v1)
      hostname: {{ include "my-project.fullname" . }}-listener
      subdomain: {{ include "my-project.fullname" . }}-listener-dmn
      initContainers:
        # twice - can add in helers.tpl
        - name: wait-mysql-exist-pod
          image: {{ .Values.global.registry }}/{{ .Values.global.k8s.image }}:{{ .Values.global.k8s.tag | default "latest" }}
          imagePullPolicy: IfNotPresent
          env:
            - name: MYSQL_POD_NAME
              value: {{ .Release.Name }}-mysql
            - name: COMPONENT_NAME
              value: {{ .Values.global.mysql.database.name }}
          command:
            - /bin/sh
          args:
            - -c
            - |-
              while [ "$(kubectl get pod $MYSQL_POD_NAME 2>/dev/null | grep $MYSQL_POD_NAME | awk '{print $1;}')" \!= "$MYSQL_POD_NAME" ];do
                echo 'Waiting for mysql pod to be existed...';
                sleep 5;
              done
        - name: wait-mysql-ready
          image: {{ .Values.global.registry }}/{{ .Values.global.k8s.image }}:{{ .Values.global.k8s.tag | default "latest" }}
          imagePullPolicy: IfNotPresent
          env:
            - name: MYSQL_POD_NAME
              value: {{ .Release.Name }}-mysql
          command:
            - kubectl
          args:
            - wait
            - pod/$(MYSQL_POD_NAME)
            - --for=condition=ready
            - --timeout=120s
        - name: wait-mysql-has-db
          image: {{ .Values.global.registry }}/{{ .Values.global.k8s.image }}:{{ .Values.global.k8s.tag | default "latest" }}
          imagePullPolicy: IfNotPresent
          env:
            {{- include "k8s.db.env" . | nindent 12 }}
            - name: MYSQL_POD_NAME
              value: {{ .Release.Name }}-mysql
          command:
            - /bin/sh
          args:
            - -c
            - |-
             while [ "$(kubectl exec $MYSQL_POD_NAME -- mysql -uroot -p$MYSQL_ROOT_PASSWORD -e 'show databases' 2>/dev/null | grep $MYSQL_DATABASE | awk '{print $1;}')" \!= "$MYSQL_DATABASE" ]; do
                echo 'Waiting for mysql database up...';
                sleep 5;
             done
      containers:
        - name: {{ include "my-project.fullname" . }}-listener
          image:  {{ .Values.global.registry }}/{{ .Values.image.repository }}:{{ .Values.image.tag | default "latest" }}
          imagePullPolicy: {{ .Values.image.pullPolicy }}
          env:
          {{- include "k8s.db.env" . | nindent 12 }}
            - name: SCHEDULER_DB
              value: $(CONNECTION_STRING)
          command: {{- toYaml .Values.image.entrypoint | nindent 12 }}
          args: # some args ...
          ports:
            - name: api
              containerPort: 8081
          resources:
            limits:
              cpu: 1
              memory: 1024Mi
            requests:
              cpu: 100m
              memory: 50Mi
          readinessProbe:
            httpGet:
              path: /api/scheduler/healthcheck
              port: api
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 5
            timeoutSeconds: 1
          livenessProbe:
            tcpSocket:
              port: api
            initialDelaySeconds: 120
            periodSeconds: 10
            timeoutSeconds: 5
          volumeMounts:
            - name: {{ include "my-project.fullname" . }}-volume
              mountPath: /etc/test/scheduler.yaml
              subPath: scheduler.yaml
              readOnly: true
      volumes:
      - name: {{ include "my-project.fullname" . }}-volume
        configMap:
          name: {{ include "my-project.fullname" . }}-config
      restartPolicy: Never

服务（用于子域）：

apiVersion: v1
kind: Service
metadata:
  name: {{ include "my-project.fullname" . }}-listener-dmn
spec:
  selector:
    name: {{ include "my-project.fullname" . }}-listener
  ports:
    - name: api
      port: 8081
      targetPort: 8081
  type: ClusterIP

角色 + colebinding（启用curl命令访问）：

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: {{ include "my-project.fullname" . }}-role
rules:
- apiGroups: [""] # "" indicates the core API group
  resources: ["pods"]
  verbs: ["get", "watch", "list", "update"]
- apiGroups: [""] # "" indicates the core API group
  resources: ["pods/exec"]
  verbs: ["create", "delete", "deletecollection", "get", "list", "patch", "update", "watch"]
- apiGroups: ["", "app", "batch"] # "" indicates the core API group
  resources: ["jobs"]
  verbs: ["get", "watch", "list"]

Role-Binding:
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: {{ include "go-scheduler.fullname" . }}-rolebinding
subjects:
- kind: ServiceAccount
  name: default
roleRef:
  kind: Role
  name: {{ include "go-scheduler.fullname" . }}-role
  apiGroup: rbac.authorization.k8s.io

最后是执行curl命令的测试仪：（

为了检查我将荚。

apiVersion: batch/v1
kind: Job
metadata:
  name: {{ include "my-project.fullname" . }}-test
  namespace: {{ .Release.Namespace }}
  labels:
    name: {{ include "my-project.fullname" . }}-test
    app: {{ include "my-project.fullname" . }}-test 
  annotations:
    "prometheus.io/scrape": {{ .Values.prometheus.scrape | quote }}
    "prometheus.io/path": {{ .Values.prometheus.path }}
    "prometheus.io/port": {{ .Values.ports.api.container | quote }}
spec:
  template: #PodTemplateSpec (Core/V1)
    spec: #PodSpec (core/v1)
      initContainers:
        # twice - can add in helers.tpl
        #
        - name: wait-sched-listener-exists
          image: {{ .Values.global.registry }}/{{ .Values.global.k8s.image }}:{{ .Values.global.k8s.tag | default "latest" }}
          imagePullPolicy: IfNotPresent
          env:
            - name: POD_NAME
              value: {{ include "my-project.fullname" . }}-listener
          command:
            - /bin/sh
          args:
            - -c
            - |-
              while [ "$(kubectl get job $POD_NAME 2>/dev/null | grep $POD_NAME | awk '{print $1;}')" \!= "$POD_NAME" ];do
                echo 'Waiting for scheduler pod to exist ...';
                sleep 5;
              done
        - name: wait-listener-running
          image: {{ .Values.global.registry }}/{{ .Values.global.k8s.image }}:{{ .Values.global.k8s.tag | default "latest" }}
          imagePullPolicy: IfNotPresent
          env:
            - name: POD_NAME
              value: {{ include "my-project.fullname" . }}-listener
          command:
            - /bin/sh
          args:
            - -c
            - |-
              while [ "$(kubectl get pods 2>/dev/null | grep $POD_NAME | awk '{print $3;}')" \!= "Running" ];do
                echo 'Waiting for scheduler pod to run ...';
                sleep 5;
              done
      containers:
        - name: {{ include "my-project.fullname" . }}-test
          image:  {{ .Values.global.registry }}/{{ .Values.global.k8s.image }}:{{ .Values.global.k8s.tag | default "latest" }}
          imagePullPolicy: {{ .Values.image.pullPolicy }}
          command:
            - /bin/sh
          args:
            - -c
            - "tail -f"
     # instead of above can be curl: "curl -H 'Accept: application/json' -X get my-project-listener.my-project-listener-dmn:8081/api/scheduler/jobs"

      restartPolicy: Never

我输入测试吊舱

kubectl exec -it my-tester-<hash> -- /bin/sh

...并运行命令：

ping my-project-listener.my-project-listener-dmn

get：

ping: bad address 'my-project-listener.my-project-listener-dmn'

为pod做到这一点时：

ping pod-hostname.pod-subdomain（）：...数据字节

Answer 1

这里有很多内容，但我认为您应该能够通过一些小的更改来解决所有这些问题。

总之，我建议更改：

apiVersion: apps/v1
kind: Deployment     # <-- not a Job
metadata: &original-job-metadata-from-the-question
spec:
  template:
    metadata:
      labels:   # vvv matching the Service selector
        name: {{ include "my-project.fullname" . }}-listener
    spec:
      # delete all of the initContainers:
      containers: &original-container-list-from-the-question
      volumes: &original-volume-list-from-the-question
      # delete restartPolicy: (default value Always)

删除 Role 和 RoleBinding 对象；连接到服务 http://my-project-listener-dmn:8081 而不是单个 Pod；您可以在部署上kubectl wait --for=condition=available。

连接到服务，而不是单个 Pod（或作业或部署）。该服务名为 {{ include "my-project.fullname" 。 }}-listener-dmn 这是您应该连接到的主机名。该服务充当非常轻量级的集群内负载均衡器，并将请求转发到其选择器标识的 Pod 之一。

因此，在此示例中，您将连接到服务的名称和端口 http://my-project-listener-dmn:8081。您的应用程序不响应非常低级别的 ICMP 协议，我会避免 ping(1)，而选择更有用的诊断。还可以考虑将Service的端口设置为默认的HTTP端口80；它不一定需要与 Pod 的端口匹配。

服务选择器需要匹配 Pod 标签（而不是作业或部署的标签）。 Service 附加到 Pod； Job 或 Deployment 有一个创建 Pod 的模板；需要匹配的是那些标签。您需要向 Pod 模板添加标签：

spec:
  template:
    metadata:
      labels:
        name: {{ include "my-project.fullname" . }}-listener

或者，在 Helm 图表中，您有一个帮助程序来生成这些标签，

      labels: {{- include "my-project.labels" | nindent 8 }}

这里要检查的是 kubectl describe service my-project-listener-dmn。底部应该有一行显示 Endpoints: 和一些 IP 地址（技术上是一些单独的 Pod IP 地址，但您通常不需要知道这一点）。如果显示 Endpoints: 这通常表明标签不匹配。

您可能需要某种程度的自动重启。 Pod 可能会因多种原因而失败，包括代码错误和网络故障。如果您设置 restartPolicy: Never 那么您将拥有一个失败的 Pod，并且对服务的请求将失败，直到您采取某种手动干预。我建议至少将其设置为 restartPolicy: OnFailure，或者（对于部署）将其保留为默认值 Always。 （有有关作业重启策略的更多讨论 在 Kubernetes 文档中。）

您可能需要在此处进行部署。作业适用于您执行一组批处理然后作业完成的情况；这就是为什么 kubectl wait 没有您正在寻找的生命周期选项的部分原因。

我猜你想要一个部署。根据您在此处显示的内容，我认为您根本不需要进行任何更改，除了

apiVersion: apps/v1
kind: Deployment

迄今为止有关服务和 DNS 和标签的所有内容仍然适用。

您可以 kubectl wait 等待 Deployment 可用。由于作业预计运行完成并退出，因此这是 kubectl wait 允许的状态。如果至少有最少数量的托管 Pod 正在运行并且通过了运行状况检查，则部署是“可用”的，我认为这就是您所追求的状态。

kubectl wait --for=condition=available deployment/my-project-listener

有更简单的方法来检查数据库活动性。此处显示的大部分内容是一个具有特殊权限的复杂序列，用于在 Pod 启动之前查看数据库是否正在运行。

如果 pod 运行时数据库出现故障会发生什么？一个常见的情况是，您会遇到一系列级联异常，并且您的 Pod 会崩溃。然后使用 restartPolicy: Always Kubernetes 将尝试重新启动它；但如果数据库仍然不可用，则会再次崩溃；然后您将进入 CrashLoopBackOff 状态。如果数据库确实再次可用，那么最终 Kubernetes 将尝试重新启动 Pod 并且会成功。

同样的逻辑也适用于启动时。如果 Pod 尝试启动，而数据库尚未准备好，并且崩溃了，Kubernetes 将默认重新启动它，在前几次尝试后增加一些延迟。如果数据库在 30 秒左右启动，那么应用程序将在一分钟左右启动。重新启动计数将大于 0，但 kubectl messages --previous 希望有一个明显的异常。

这将使您删除此处显示的大约一半内容。删除 全部 initContainers: 块；然后，由于您没有执行任何 Kubernetes API 操作，因此也删除 Role 和 RoleBinding 对象。

如果您确实想强制 Pod 等待数据库并将启动视为特殊情况，我建议您使用 mysql 客户端工具，甚至是 wait 来使用更简单的 shell 脚本-for 进行基本 TCP 调用的脚本（Docker Compose 等待在启动 Y 之前容器 X）。这仍然可以让您避免所有 Kubernetes RBAC 设置。