将数组中的两个重复值转换为字符串

Question

我有一些旧文档，其中一个字段重复了两个阀的数组，类似的是：

          "task" : [
            "first_task",
            "first_task"
          ],

我试图将此数组转换为字符串，因为它是相同的值。我已经看过以下脚本：将带有2个相等值的数组转换为单个值，但在我的情况下，无法通过logstash解决此问题，因为它只是在存储的旧文档中发生。

我当时想这样做：

POST _ingest/pipeline/_simulate
{
  "pipeline": {
    "processors": [
      {
        "script": {
          "description": "Change task field from array to first element of this one",
          "lang": "painless",
          "source": """
            if (ctx['task'][0] == ctx['task'][1]) {
                ctx['task'] = ctx['task'][0];
            }
          """
        }
      }
    ]
  },
  "docs": [
    {
        "_index" : "tasks",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.0,
        "_source" : {
          "@timestamp" : "2022-05-03T07:33:44.652Z",
          "task" : ["first_task", "first_task"]
        }
    }
  ]
}

结果文档如下：

{
  "docs" : [
    {
      "doc" : {
        "_index" : "tasks",
        "_type" : "_doc",
        "_id" : "1",
        "_source" : {
          "@timestamp" : "2022-05-03T07:33:44.652Z",
          "task" : "first_task"
        },
        "_ingest" : {
          "timestamp" : "2022-05-11T09:08:48.150815183Z"
        }
      }
    }
  ]
}

我们可以看到task字段被重新分配，并且我们将数组的第一个元素作为值。

是否有一种方法可以从Elasticsearch中操纵实际数据并使用DSL查询使用此特征转换所有文档？

谢谢。

Answer 1

您可以使用_UPDATE_BY_QUERY endpoint实现此目标。以下是一个示例：

POST tasks/_update_by_query
{
  "script": {
    "source": """
      if (ctx._source['task'][0] == ctx._source['task'][1]) {
          ctx._source['task'] = ctx._source['task'][0];
      }
    """,
    "lang": "painless"
  },
  "query": {
    "match_all": {}
  }
}

如果要更新所有文档，则可以删除match_all查询，也可以通过查询中的条件来过滤文档。

请记住，在更新过程运行时，运行脚本以更新索引中的所有文档可能会导致某些性能问题。