AWS CloudWatch Log Insights：总计结果是不可能的（count -count_distinct是负）

Question

我在单个日志流上运行CloudWatch Log Insights查询，该查询与单个Python AWS lambda函数相对应。此功能记录了与S3中的密钥相对应的唯一行。它在调用开始时登录一行。唯一无法记录此行的条件是它甚至在读取事件之前就失败了。

查询是：

parse @message /(?<@unique_key>Processing key: \w+\/[\w=_-]+\/\w+\.\d{4}-\d{2}-\d{2}-\d{2}\.[\w-]+\.\w+\.\w+)/
| filter @message like /Processing key: \w+\/[\w=_-]+\/\w+\.\d{4}-\d{2}-\d{2}-\d{2}\.[\w-]+\.\w+\.\w+/
| stats count(@unique_key) - count_distinct(@unique_key) as @distinct_unique_keys_delta
        by datefloor(@timestamp, 1d) as @_datefloor 
| sort @_datefloor asc

此查询中的两个正则表达式将解析正在处理的S3文件的完整键。在这个特定的问题中，总的来说，我的理解是，任何数量的计数减去相同数量的count_distinct（...）的计数应始终大于或等于零。

在结果中的几天中，这是一个负数。

我以为我可能会误解datefloor（）的正确用法，因此我尝试运行以下查询：

parse @message /(?<@unique_key>Processing key: \w+\/[\w=_-]+\/\w+\.\d{4}-\d{2}-\d{2}-\d{2}\.[\w-]+\.\w+\.\w+)/
| filter @message like /Processing key: \w+\/[\w=_-]+\/\w+\.\d{4}-\d{2}-\d{2}-\d{2}\.[\w-]+\.\w+\.\w+/
| stats count(@unique_key) - count_distinct(@unique_key) as @distinct_unique_keys_delta

结果为-20,347。

在这一点上，我只能看到

1. 执行查询的代码有问题。
2. 我误解了这个工具。

Answer 1

我发现count_distinct aws log Insights查询中的函数并没有真正返回独特的计数！根据文档

返回该字段的唯一值的数量。如果该字段具有很高的基数（包含许多唯一值），则count_distinct返回的值只是一个近似值。

显然，我不能只是假设函数返回准确的结果。

文档页面。