Elasticsearch 文档在批量插入时被删除

Question

我有以下情况： 使用JDBC输入连接器和Elasticsearch输出连接器的LogStash。 数据最初加载到ES中，这意味着在LogStash负载之前不存在填充的索引。 LogStash根据映射模板创建索引。 LogStash和ES在版本7.17.0中。

直到最近，这种情况都很好。

问题

索引效果很好，直到大约1 miO文档。然后，索引新文档会迅速减慢，而已删除的文档的数量极大地振荡。它增加了很多，并且经常下降。

我知道将文档作为更新操作的一部分删除，并且以前已经如此。但是删除的文档数量大部分增加了，并且没有振荡于此。 在此问题发生之前，负载结束时的情况约为8 mio文档。计数约为3 mio，如删除。目前，数字停留在1.2 mio左右。

该方案部署在两个环境上，只有一个环境显示了这种行为。两者都有相同的源和logstash配置。环境在其实例上有所不同。两种实例均配置平等。

磁盘空间很好，ES日志中没有错误。 我还可以确认LogStash运行良好，并且不断向ES发送批量请求。

在另一个线程中，有人提到ES将文档放在过载方案中。我找不到有关这种行为的任何证据，但这至少是我所经历的一个很好的解释： 文档在插入后自动删除在Elasticsearch

文档” > 强>指标的时间序列

TIME 1230:
health status index                     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   myindex                   LLC8qxSWTWyO1U25Olljlg   1   1    1182676       166056    642.3mb        642.3mb

TIME 1240:
health status index                     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   myindex                   LLC8qxSWTWyO1U25Olljlg   1   1    1182676       533339    946.9mb        946.9mb

TIME 1300:
health status index                     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   myindex                   LLC8qxSWTWyO1U25Olljlg   1   1    1182676       349747    701.9mb        701.9mb

TIME 1400:
health status index                     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   myindex                   LLC8qxSWTWyO1U25Olljlg   1   1    1182678       467651        1gb            1gb

TIME 1430:
health status index                     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   myindex                   LLC8qxSWTWyO1U25Olljlg   1   1    1182678       693906        1gb            1gb

Answer 1

实际上，在详细分析 Logstash 后，我们意识到 Logstash 由于某种原因没有更新其元数据，因此它会无限循环地发送相同的数据。
ES 工作得很好，这也解释了删除文档的振荡。

看来是网络问题，需要进一步调查。