即使 Auto Scaling 后 CPU 利用率下降，负载测试期间的响应时间也太长

Question

场景如下：

我在 Amazon EC2 Linux 实例上以负载均衡模式运行 Java/Spring 应用程序，最初有 3 台服务器，可以根据需要向上或向下扩展。

扩展标准：当 CPU 利用率超过 30% 并持续超过 10 分钟时，再添加 2 台服务器。

缩减标准：当 CPU 利用率下降到 15% 以下并持续超过 10 分钟时，删除一台服务器。

加载（使用 blazemeter.com）：增加编号。用户数量在大约 15 分钟内从 0 稳步增加到 50，并从此保持不变。

响应：

• 前15分钟，负载增加到每秒50次，并在接下来的5分钟内保持稳定。 CPU 利用率保持在 30% 左右。此阶段的响应时间低于 20ms。
• 虽然负载为每秒 50 次点击，但在开始后大约 20 分钟时，CPU 利用率在 10 多分钟内飙升至 33% 左右，从而触发了升级。响应时间急剧增加，在 5000ms 至 15000ms 之间波动。
• 现在增加了 2 个服务器（服务器数量现在为 5），CPU 利用率回到 20%，但响应时间没有显示出缩短的迹象。在剩下的测试期间，它仍然保持在 5000ms 到 15000ms 之间，直到负载被移除。

我的问题是，为什么当 CPU 利用率恢复正常（大约 20% 利用率）时，响应时间没有降至正常（大约 20 毫秒）？

CPU利用率图表

响应时间图表

感谢您的宝贵时间:)