如何过滤命名空间上的 filebeat 日志

Question

我有一个集群，我在其中运行 filebeat 作为恶魔服务，以下是相同的配置图。我只想从命名空间 abc 获取日志，但我仍然从所有命名空间获取日志，特别是我从占用 75% 空间的 filebeat 获取有关 filebeat 的日志。配置有问题吗？或者还有另一种更好的方法吗？或者其他方式停止从 filebeat 获取有关 filebeat 的日志？

kind: ConfigMap
metadata:
  name: filebeat-config
  namespace: kube-system
  labels:
    k8s-app: filebeat
data:
   filebeat.yml: |-
    filebeat.autodiscover:
      providers:
        - type: kubernetes
          node: ${NODE_NAME}
          hints.enabled: true
          hints.default_config:
            type: container
            paths:
              - /var/log/containers/*${data.kubernetes.container.id}.log
          templates:
            - condition:
                equals:
                  kubernetes.namespace: abc
    output.logstash:
      hosts: ['${LOGSTAH_HOST:elasticsearch}:${LOGSTASH_PORT:5044}']
    logging.level: "info"```

Answer 1

这是因为您仍然有 hints.enabled: true 设置。

IMO 你只需要这个：

filebeat.autodiscover:
  providers:
    - type: kubernetes
      templates:
        - condition:
            equals:
              kubernetes.namespace: kube-system
          config:
            - type: container
              paths:
                - /var/log/containers/*-${data.kubernetes.container.id}.log
              exclude_lines: ["^\\s+[\\-`('.|_]"] 

或者另一种方法是使用 POD 上的注释来记录或不记录。

来自文档

Filebeat 支持根据提供商的提示进行自动发现。提示系统在 Kubernetes Pod 注释或具有前缀 co.elastic.logs 的 Docker 标签中查找提示。一旦容器启动，Filebeat 将检查它是否包含任何提示并为其启动正确的配置

。您还可以完全禁用默认设置，因此只会检索像 co.elastic.logs/enabled: true 这样注释的 Pod：

filebeat.autodiscover:
  providers:
    - type: kubernetes
      hints.enabled: true
      hints.default_config.enabled: false