Elasticsearch 更改现有字段类型

Question

就我而言，NIFI 将从 syslog 防火墙接收数据，然后在转换后将 JSON 发送到 ELASTIC。这是我第一次接触ELASTICSEARCH

{   
"LogChain" : "Corp01 input",   
"src_ip" : "162.142.125.228",   
"src_port" : "61802",   
"dst_ip" : "177.16.1.13",   
"dst_port" : "6580",   
"timestamp_utc" : 1646226066899 
}

在Elasticsearch中自动创建了此类类型的索引

{
  "mt-firewall" : {
    "mappings" : {
      "properties" : {
        "LogChain" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "dst_ip" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "dst_port" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "src_ip" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "src_port" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "timestamp_utc" : {
          "type" : "long"
        }
      }
    }
  }
}

如何更改Elasticsearch中的类型字段？

• “src_ip”：输入“ip”
• “dst_ip”：输入“ip”
• “timestamp_utc”：输入“数据”

Answer 1

您可以使用 映射 更改或配置字段类型Elasticsearch 和我在下面给出的一些方法：

1. 显式索引映射

此处，在将任何文档索引到 Elasticsearch 之前，您将使用所有必需字段和特定类型的字段自行定义索引映射。

PUT /my-index-000001
{
  "mappings": {
    "properties": {
      "src_ip":    { "type": "ip" },  
      "dst_ip":  { "type": "ip"  }, 
      "timestamp_utc":   { "type": "date"  }     
    }
  }
}

2. 动态模板：

此处，您将在创建索引时提供动态模板，并根据条件 ES 会将字段映射为特定数据类型，例如如果字段名称以 _ip 结尾，则将字段映射为 ip 类型。

PUT my-index-000001/
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_ip": {
          "match_mapping_type": "string",
          "match": "*ip",
          "runtime": {
            "type": "ip"
          }
        }
      }
    ]
  }
}

更新1：

如果您想更新现有索引中的映射，则不建议这样做，因为这会导致数据不一致。

您可以按照以下步骤操作：

1. 使用 Reindex API 将数据复制到临时索引。
2. 删除原来的索引。
3. 使用上述一种带有索引映射的方法之一定义索引。
4. 使用 Reindex API 将数据从临时索引复制到原始索引（使用映射新创建的索引）