无法从自定义指标 API 获取指标：服务器当前无法处理请求

Question

我正在使用基于 GKE 上的自定义指标的 HPA。

HPA 不工作，它向我显示以下错误日志：

无法从自定义指标 API 获取指标：服务器当前无法处理请求

无法从自定义指标 API 获取指标：当我运行 kubectl get apiservices | 时， grep 自定义 我明白了

v1beta1.custom.metrics.k8s.io services/prometheus-adapter False (FailedDiscoveryCheck) 135d

这是 HPA 规范配置：

spec:
  scaleTargetRef:
    kind: Deployment
    name: api-name
    apiVersion: apps/v1
  minReplicas: 3
  maxReplicas: 50
  metrics:
    - type: Object
      object:
        target:
          kind: Service
          name: api-name
          apiVersion: v1
        metricName: messages_ready_per_consumer
        targetValue: '1'

这是服务的规范配置：

spec:
  ports:
    - name: worker-metrics
      protocol: TCP
      port: 8080
      targetPort: worker-metrics
  selector:
    app.kubernetes.io/instance: api
    app.kubernetes.io/name: api-name
  clusterIP: 10.8.7.9
  clusterIPs:
    - 10.8.7.9
  type: ClusterIP
  sessionAffinity: None
  ipFamilies:
    - IPv4
  ipFamilyPolicy: SingleStack

我应该做什么才能使其工作？

Answer 1

首先，确认 Metrics Server POD 正在您的 kube-system 命名空间中运行。此外，您还可以使用以下清单：

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: metrics-server
  namespace: kube-system
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: metrics-server
  namespace: kube-system
  labels:
    k8s-app: metrics-server
spec:
  selector:
    matchLabels:
      k8s-app: metrics-server
  template:
    metadata:
      name: metrics-server
      labels:
        k8s-app: metrics-server
    spec:
      serviceAccountName: metrics-server
      volumes:
      # mount in tmp so we can safely use from-scratch images and/or read-only containers
      - name: tmp-dir
        emptyDir: {}
      containers:
      - name: metrics-server
        image: k8s.gcr.io/metrics-server-amd64:v0.3.1
        command:
        - /metrics-server
        - --kubelet-insecure-tls
        - --kubelet-preferred-address-types=InternalIP
        imagePullPolicy: Always
        volumeMounts:
        - name: tmp-dir
          mountPath: /tmp

如果是这样，请查看日志并查找任何 stackdriver 适配器的 行。此问题通常是由于 custom-metrics-stackdriver-adapter 问题引起的。它通常会在 metrics-server 命名空间中崩溃。要解决此问题，请使用此 URL，并使用此图像进行部署：

gcr.io/google-containers/custom-metrics-stackdriver-adapter:v0.10.1

另一个常见的根本原因是OOM问题。在这种情况下，添加更多内存可以解决问题。要分配更多内存，您可以在配置文件中指定新的内存量，如下例所示：

apiVersion: v1
kind: Pod
metadata:
  name: memory-demo
  namespace: mem-example
spec:
  containers:
  - name: memory-demo-ctr
    image: polinux/stress
    resources:
      limits:
        memory: "200Mi"
      requests:
        memory: "100Mi"
    command: ["stress"]
    args: ["--vm", "1", "--vm-bytes", "150M", "--vm-hang", "1"]

在上面的示例中，Container 的内存请求为 100 MiB，内存限制为 200 MiB。在清单中，“--vm-bytes”、“150M”参数告诉容器尝试分配 150 MiB 内存。您可以访问此 Kubernetes 官方文档来了解有关内存设置的更多参考。

您可以使用以下线程获取更多参考 GKE - 使用自定义的 HPA指标 - 无法获取指标，Stackdriver-metadata-agent-cluster-level 被 OOMKilled,和 Custom-metrics-stackdriver-adapter pod 不断崩溃。

Answer 2

在我的 EKS 节点安全组规则中添加此块解决了我的问题：

node_security_group_additional_rules = {
  ...
  ingress_cluster_metricserver = {
    description                   = "Cluster to node 4443 (Metrics Server)"
    protocol                      = "tcp"
    from_port                     = 4443
    to_port                       = 4443
    type                          = "ingress"
    source_cluster_security_group = true 
  }
  ...
}

Answer 3

kubectl get pod -l "app.kubernetes.io/instance=api,app.kubernetes.io/name=api-name" 会得到什么？
应该有一个 pod，该服务会引用到该 pod。
如果存在 Pod，请使用 kubectl logs 检查其日志。您可以将 -f 添加到 kubectl messages 命令中，以跟踪日志。