弹性搜索DSL查询将日志消息与启动和结束文本匹配

Question

日志消息如下所示，

The application node ABC is down
The application node BCD is down
The application node XXX  is down

我编写了以下查询，但是它不起作用，

"query": {
   "must": {
          "match": {
               "log_message": {
                    "query": "The application node /[A-Z]*/ is down"
               }
          }
   }
   "filter":{
           "term": {
                "application": "XYZ"
            }
    }
}

如何编写DSL查询将这些消息与应用程序名称上的过滤器一起匹配。

Answer 1

第一点，因为您尚未给出考虑log_message的索引映射，定义为文本在没有任何分析器的情况下键入字段。因此，它将考虑log_message字段的默认标准分析仪。

在这里，您的正则模式/[az]*/在索引时将所有令牌转换为standard分析仪将所有令牌转换为plowsect。您可以阅读有关标准分析仪。您可以替换图案，例如`/[az]*/

point，匹配查询不支持REGEX模式。您可以使用query_string Elasticsearch的查询类型，如下所示：

{
  "query": {
    "bool": {
      "must": [
        {
          "query_string": {
            "default_field": "log_message",
            "query": "The application node /[a-z]*/ is down",
            "default_operator": "AND"
          }
        }
      ],
      "filter": [
        {
          "term": {
            "application": "XYZ"
          }
        }
      ]
    }
  }
}

Regex查询将影响您的搜索性能，因此要谨慎使用。

最佳解决方案：

如果您的用例与节点名称和应用程序名称的查询匹配，则可以使用node或down等节点的状态，则可以使用 grok pattern with ingest管道并将其存储为单独的值并将其用于查询。

以下是日志消息的示例grok模式（您可以根据各种日志模式进行修改）：

The application node %{WORD:node_name} is %{WORD:node_status}

上面，grok模式将给出以下结果：

{
  "node_name": "ABC",
  "node_status": "down"
}

示例摄入管道：

PUT _ingest/pipeline/my-pipeline
{
  "processors": [
    {
      "grok": {
        "field": "log_message",
        "patterns": [
          "The application node %{WORD:node_name} is %{WORD:node_status}"
        ]
      }
    }
  ]
}

您可以在索引文档时使用以下管道：

POST index_name/_doc?pipeline=my-pipeline
{
  "log_message":"The application node XXX is down"
}

输出文档：

"hits" : [
      {
        "_index" : "index_name",
        "_type" : "_doc",
        "_id" : "bZuMkoABMUDAwut6pbnf",
        "_score" : 1.0,
        "_source" : {
          "node_status" : "down",
          "node_name" : "XXX",
          "log_message" : "The application node XXX is down"
        }
      }
    ]

您可以使用：您可以使用以下查询以获取有关特定节点的数据，该节点已下降：

{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "node_name": "XXX"
          }
        },
        {
          "match": {
            "node_status": "down"
          }
        }
      ],
      "filter": [
        {
          "term": {
            "application": "XYZ"
          }
        }
      ]
    }
  }
}