使用kubernetespoderator时，如何将Cloud Composer 2 Worker存储限制超过10GB？

Question

我已经配置了Cloud Composer 2

workloads_config {
      worker {
        cpu        = 2
        memory_gb  = 6
        storage_gb = 10
        min_count  = 1
        max_count  = 4
      }
    }

我无法在Terraform或GCP控制台中设置 Storage_GB 高于10。在Terraform中，我遇到了一个错误，说我无法将值设置为10GB以上。在控制台中，不可能输入大于10的值。

我使用 kubernetespoderator 失败，因为它达到了磁盘限制。

我可以看到POD被驱逐有以下错误：

POD临时的本地存储使用量超过容器的总限制10239Mi。

该作业在作曲家1上工作正常，我不记得必须在那里配置存储限制，但是作曲家1在设置环境方面有很大差异。

我找不到

有关如何在Composer 2中增加此限制的文档。我将尝试的事情：

• 尝试使用POD资源请求进行更多存储，
• 的群集上的限制

请参阅是否有一种方法可以配置Composer之外 除了显示了如何更改工人的存储空间，但没有提及10GB限制。

是否有将工人限制提高到10GB以上的标准方法？

Answer 1

这是一个 。您可以参考此 Composer 2 有关作曲家2的详细信息 作曲家工人

旨在用于启动和/或投票，以实现在其他地方发射的工作状态。 这并不意味着用于本地处理或进行刮擦计算。

如果您打算有一个刮擦空间来处理文件或进行本地处理，则可以启动其他kubernetes pods来进行此操作，然后使用 kubernetespodoperator ，或者您也可以尝试 gkepodoperator 由于 kubernetespoderator 对您不起作用。