Filebeat 具有自定义日志文件和 kubernetes 元数据到 Elasticsearch 和 kibana

Question

我们的应用程序部署在 AWS EKS 集群中，由于某些原因，我们需要将应用程序日志写入单独的文件，例如 ${POD_NAME}.applog 而不是 stdout（我们将 /var/log/container/ 安装到 pod /log 文件夹并且应用程序写入 /log/${POD_NAME}.applog ）。我们使用 filebeat 将日志发送到 Elasticsearch，并使用 Kibana 进行可视化。我们的 filebeat 配置文件看起来像这样

data:
  filebeat.yml: |-
    filebeat.inputs:
    - type: log
      paths:
        - /var/log/containers/*.applog
      json.keys_under_root: true
      json.message_key: log
      processors:
        - add_cloud_metadata:
        - add_host_metadata:

这工作正常，但我们意识到我们缺少 ES 和 Kibana 中的 kuberenetes 元数据。但是当我们包含 -type: conatainer 时，我们就会获取 kuberenetes 元数据。

data:
  filebeat.yml: |-
    filebeat.inputs:
    - type: log
      paths:
        - /var/log/containers/*.applog
      json.keys_under_root: true
      json.message_key: log
    - type: container
      paths:
        - /var/log/containers/*.log
      processors:
        - add_kubernetes_metadata:
            host: ${NODE_NAME}
            matchers:
            - logs_path:
                logs_path: "/var/log/containers/"

因此，我们尝试添加这样的配置，

data:
  filebeat.yml: |-
    filebeat.inputs:
    - type: log
      paths:
        - /var/log/containers/*.applog
      json.keys_under_root: true
      json.message_key: log
      processors:
        - add_kubernetes_metadata:
            in_cluster: true
            host: ${NODE_NAME}
        - add_cloud_metadata:
        - add_host_metadata:

但我们仍然没有在 kibana 中获取 kuberenetes 元数据。我尝试了所有的试错方法，但没有任何效果。

有人可以帮助我如何使用 filebeat 中的自定义日志文件获取 Kubernetes 元数据吗？

Answer 1

我们在 EKS 1.24 下遇到了同样的问题，日志条目中没有 kubernetes 元数据。根据文档添加 Kubernetes 元数据编辑，我们在filebeat版本7.17.8下通过以下配置解决。

- type: container
  paths:
    - /var/log/pods/*/*/*.log
  exclude_files: ['filebeat.*',
                  'logstash.*',
                  'kube.*',
                  'cert-manager.*']
  processors:
    - add_kubernetes_metadata:
        in_cluster: true
        host: ${NODE_NAME}
        matchers:
          - logs_path:
              logs_path: '/var/log/pods/'
        default_indexers.enabled: false
        default_matchers.enabled: false
        indexers:
          - pod_uid:
        matchers:
          - logs_path:
              logs_path: '/var/log/pods/'
              resource_type: 'pod'

应禁用默认索引器和匹配器。 pod_uid 索引器可以使用 pod 的 UID 来识别 pod 元数据。您可以从 logs_path 匹配器配置rel="nofollow noreferrer">此处