如何构建具有中央证书和身份验证管理的入口控制器

Question

我想以集中管理的安全方式将 EKS 中的一些 Web 应用程序公开到互联网。

在 AWS 中，使用 ALB 很好，因为它允许您终止 TLS 并使用 Cognito 添加身份验证。 (参见此处）

要配置 ALB 并将其连接到应用程序，请使用 aws-load-balancer-controller。 它工作正常，但它需要每个应用程序/入口配置一个新的 ALB：

  annotations:
    kubernetes.io/ingress.class: alb
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/tags: Environment=test,Project=cognito
    external-dns.alpha.kubernetes.io/hostname: sample.${COK_MY_DOMAIN} 
    alb.ingress.kubernetes.io/listen-ports: '[{"HTTP": 80}, {"HTTPS":443}]'
    alb.ingress.kubernetes.io/actions.ssl-redirect: '{"Type": "redirect", "RedirectConfig": { "Protocol": "HTTPS", "Port": "443", "StatusCode": "HTTP_301"}}'
    alb.ingress.kubernetes.io/auth-type: cognito
    alb.ingress.kubernetes.io/auth-scope: openid
    alb.ingress.kubernetes.io/auth-session-timeout: '3600'
    alb.ingress.kubernetes.io/auth-session-cookie: AWSELBAuthSessionCookie
    alb.ingress.kubernetes.io/auth-on-unauthenticated-request: authenticate
    alb.ingress.kubernetes.io/auth-idp-cognito: '{"UserPoolArn": "$(aws cognito-idp describe-user-pool --user-pool-id $COK_COGNITO_USER_POOL_ID --region $COK_AWS_REGION --query 'UserPool.Arn' --output text)","UserPoolClientId":"${COK_COGNITO_USER_POOL_CLIENT_ID}","UserPoolDomain":"${COK_COGNITO_DOMAIN}.auth.${COK_AWS_REGION}.amazoncognito.com"}'
    alb.ingress.kubernetes.io/certificate-arn: $COK_ACM_CERT_ARN 
    alb.ingress.kubernetes.io/target-type: 'ip'

我希望有一个中央定义良好的 ALB，并且所有应用程序都不需要再关心这一点。

我的想法是拥有一个常规的 nginx-ingress-controller 并通过中央 ALB 公开它。

现在的问题是：如何将 ALB 连接到 nginx 控制器？

一种方法是手动配置 ALB 并手动构建目标组，这感觉不是一个稳定的解决方案。

另一种方法是使用 aws-load-balancer-controller 连接 nginx。然而在这种情况下，nginx 似乎无法发布正确的负载均衡器地址，并且 external-dns 将输入错误的 DNS 记录。 （不幸的是，通常的入口中似乎没有 --publish-ingress 选项像 nginx 或 traefik 这样的控制器。）

问题：

• 有没有办法让 nginx-ingress-controller 提供正确的地址？
• 是否有更简单的方法来组合两个入口控制器？

Answer 1

我想我找到了一个很好的解决方案。

我使用 terraform 设置环境。
设置完 alb 入口控制器后，我可以创建一个合适的入口对象，等待 ALB 启动，使用 terraform 提取 ALB 的地址并使用 publish-status-address 告诉 nginx将该地址准确地发布到其所有入口：

resource "kubernetes_ingress_v1" "alb" {
  wait_for_load_balancer = true
  metadata {
    name = "alb"
    namespace = "kube-system"
    annotations = {
      "alb.ingress.kubernetes.io/scheme" = "internet-facing"
      "alb.ingress.kubernetes.io/listen-ports" = "[{\"HTTP\": 80}, {\"HTTPS\":443}]"
      "alb.ingress.kubernetes.io/ssl-redirect" = "443"
      "alb.ingress.kubernetes.io/certificate-arn" = local.cert
      "alb.ingress.kubernetes.io/target-type" = "ip"
    }
  }
  spec {
    ingress_class_name = "alb"
    default_backend {
      service {
        name = "ing-nginx-ingress-nginx-controller"
        port {
          name = "http"
        }
      }
    }
  }
}

resource "helm_release" "ing-nginx" {
  name       = "ing-nginx"

  repository = "https://kubernetes.github.io/ingress-nginx"
  chart      = "ingress-nginx"
  namespace  = "kube-system"

  set {
    name  = "controller.service.type"
    value = "ClusterIP"
  }
  set {
    name  = "controller.publishService.enabled"
    value = "false"
  }
  set {
    name  = "controller.extraArgs.publish-status-address"
    value = kubernetes_ingress_v1.alb.status.0.load_balancer.0.ingress.0.hostname
  }
  set {
    name  = "controller.config.use-forwarded-headers"
    value = "true"
  }
  set {
    name  = "controller.ingressClassResource.default"
    value = "true"
  }
}

这有点奇怪，因为它引入了类似循环依赖的东西，但入口只是等待 nginx 最终启动并且一切正常。

此解决方案与 --publish-ingress 选项不完全相同它将无法适应ALB地址的任何变化。 - 幸运的是，我不希望该地址发生变化，所以我对这个解决方案很满意。

Answer 2

您可以使用两个入口控制器来实现此目的。 ALB 入口控制器将公开暴露的端点并将流量路由到作为其后端的 nginx 入口控制器。然后配置 nginx 入口控制器来管理应用程序流量的入口。