Elasticsearch 聚合显示的总计不正确

Question

Elasticsearch 版本是 7.4.2

我对 Elasticsearch 很不满意，我试图找出这个查询出了什么问题。

{
  "size": 10,
  "from": 0,
  "query": {
    "bool": {
      "must": [
        {
          "exists": {
            "field": "firstName"
          }
        },
        {
          "query_string": {
            "query": "*",
            "fields": [
              "params.display",
              "params.description",
              "params.name",
              "lastName"
            ]
          }
        },
        {
          "match": {
            "status": "DONE"
          }
        }
      ],
      "filter": [
        {
          "term": {
            "success": true
          }
        }
      ]
    }
  },
  "sort": {
    "createDate": "desc"
  },
  "collapse": {
    "field": "lastName.keyword",
    "inner_hits": {
      "name": "lastChange",
      "size": 1,
      "sort": [
        {
          "createDate": "desc"
        }
      ]
    }
  },
  "aggs": {
    "total": {
      "cardinality": {
        "field": "lastName.keyword"
      }
    }
  }
}

它返回：

    "aggregations": {
        "total": {
            "value": 429896
        }
    }

So ~430k 结果，但在分页中我们不再获得 426k 标记附近的结果。意思是，当我运行查询时，

{
  "size": 10,
  "from": 427000,
...
}

我得到：

{
    "took": 2215,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 10000,
            "relation": "gte"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "total": {
            "value": 429896
        }
    }
}

但如果我将 from 更改为 426000，我仍然会得到结果。

Answer 1

您正在将字段 lastName.keyword 的基数聚合值与索引中的总文档数进行比较，这是两个不同的事情。

您可以使用 count API 和 from/size 您在查询级别定义，即它会带来与您的搜索查询匹配的文档，并且由于您没有 track_total_hits 它显示 10k 有关系gte 表示有超过 10k 文档与您的搜索查询匹配。

当涉及到您的聚合时，我可以看到在这两种情况下它都会返回计数为 429896 ，因为此聚合不取决于您在查询中提到的 from/size。

Answer 2

当我发现基数参数有 精确控制。

设置最大值是我的解决方案。