ECS / EC2自动缩放并不是一个接一个地处理两个任务

Question

我目前的智慧结束了，试图解决这个问题。

我们有一个步骤功能管道，该管道可以在Fargate和EC2 ECS实例的混合物上运行任务。他们都处于同一集群中。

如果我们运行一个需要EC2的任务，并且之后要运行另一个任务，该任务也使用EC2，我们必须放置20分钟的Wait命令，以使第二个任务成功运行。

它似乎不使用现有的EC2实例，或者在运行第二个任务时再扩展更多？它给出了资源的错误：内存。我希望它可以扩展更多的EC2实例，以符合需求，或者使用现有的EC2实例来运行任务。

ECS集群具有一个容量提供商，其量身限度扩大，托管终止保护和目标容量为100％。

ASG的最小容量为0，最大容量为8。 它已管理扩展。 实例类型是R5.4XLARGE

示例步骤函数，它重新系列问题：

{
  "StartAt": "Set up variables",
  "States": {
    "Set up variables": {
      "Type": "Pass",
      "Next": "Map1",
      "Result": [
        1,
        2,
        3
      ],
      "ResultPath": "$.input"
    },
    "Map1": {
      "Type": "Map",
      "Next": "Map2",
      "ItemsPath": "$.input",
      "ResultPath": null,
      "Iterator": {
        "StartAt": "Inner1",
        "States": {
          "Inner1": {
            "ResultPath": null,
            "Type": "Task",
            "TimeoutSeconds": 2000,
            "End": true,
            "Resource": "arn:aws:states:::ecs:runTask.sync",
            "Parameters": {
              "Cluster": "arn:aws:ecs:CLUSTER_ID",
              "TaskDefinition": "processing-task",
              "NetworkConfiguration": {
                "AwsvpcConfiguration": {
                  "Subnets": [
                    "subnet-111"
                  ]
                }
              },
              "Overrides": {
                "Memory": "110000",
                "Cpu": "4096",
                "ContainerOverrides": [
                  {
                    "Command": [
                      "sh",
                      "-c",
                      "sleep 600"
                    ],
                    "Name": "processing-task"
                  }
                ]
              }
            }
          }
        }
      }
    },
    "Map2": {
      "Type": "Map",
      "End": true,
      "ItemsPath": "$.input",
      "Iterator": {
        "StartAt": "Inner2",
        "States": {
          "Inner2": {
            "ResultPath": null,
            "Type": "Task",
            "TimeoutSeconds": 2000,
            "End": true,
            "Resource": "arn:aws:states:::ecs:runTask.sync",
            "Parameters": {
              "Cluster": "arn:aws:ecs:CLUSTER_ID",
              "TaskDefinition": "processing-task",
              "NetworkConfiguration": {
                "AwsvpcConfiguration": {
                  "Subnets": [
                    "subnet-111"
                  ]
                }
              },
              "Overrides": {
                "Memory": "110000",
                "Cpu": "4096",
                "ContainerOverrides": [
                  {
                    "Command": [
                      "sh",
                      "-c",
                      "sleep 600"
                    ],
                    "Name": "processing-task"
                  }
                ]
              }
            }
          }
        }
      }
    }
  }
}

我到目前为止尝试过的是：

我尝试在EC2实例中更改冷却时间，并以少量的成功。唯一的问题是，现在它的扩展太快了，我们仍然必须等待之前等待更多任务，只有我们必须等待更短的时间。

请让我知道我们想要什么，如果是可能的话 谢谢

Answer 1

我最近与能力提供商遇到了类似的情况。通过ECS Run-Task（用Lambda调用）并未返回响应中的任务信息。尽管如此，在集群上的处理状态中排队了一个任务，它将待一段时间，然后最终无法从错误资源开始：内存。

猜测：似乎问题与容量提供商的刷新间隔有关： https://aws.amazon.com/blogs/containers/containers/deep-deep-dive-on-amazon-emazon-ecs-cluster-auto-auto-auto-scaling/ 。

为了使群集根据其警报扩展（或in）， 的能力保存需要更改，但是超过您当前总容量的任务安装爆发似乎并不总是满足这一要求。

如果响应包含一个空的tasks [] Collection，我们能够克服这种行为，即通过指数级备份并重试呼叫ECS运行任务来克服这种行为。这对我们的任务放置吞吐量只有很小的影响，而且我们还没有看到问题的重新出现。