如何从自定义容器中获取输出并将其传递到顶点AI/Kubeflow管道中的下一个管道？

Question

我很难理解如何通过容器作为输出工件传递结果。我知道我们需要将输出写入文件，但我需要一些示例如何做。

这是python容器程序的最后部分/代码>。

with open('./output.txt', 'w') as f:
    logging.info(f"Model path url is in {'./output.txt'}")
    f.write(model_path)

这是组件 .yaml 文件

name: Dummy Model Training
description: Train a dummy model and save to GCS
inputs:
  - name: input_url
    description: 'Input csv url.'
    type: String
  - name: gcs_url
    description: 'GCS bucket url.'
    type: String
outputs:
  - name: gcs_model_path
    description: 'Trained model path.'
    type: String
implementation:
    container:
        image: ${CONTAINER_REGISTRY}
        command: [
          python, ./app/trainer.py,
          --input_url, {inputValue: input_url},
          --gcs_url, {inputValue: gcs_url},
        ]

Answer 1

首先，您的虚拟组件缺少对输出的参考。您需要使用 {outputpath：＆lt; output_name＆gt;} 或 {outputuri：＆lt; output_name＆gt;} 将其传递到容器中，以便您的容器代码可以写入数据对于此系统，生成路径或URI（“ gs：// ...”）。要修复您的组件yaml，可以是：

name: Dummy Model Training
description: Train a dummy model and save to GCS
inputs:
  - name: input_url
    description: 'Input csv url.'
    type: String
  - name: gcs_url
    description: 'GCS bucket url.'
    type: String
outputs:
  - name: gcs_model_path
    description: 'Trained model path.'
    type: String
implementation:
    container:
        image: ${CONTAINER_REGISTRY}
        command: [
          python, ./app/trainer.py,
          --input_url, {inputValue: input_url},
          --gcs_url, {inputValue: gcs_url},
          --output_model_path, {outputPath: gcs_model_path}
        ]

那么您的代码应该写入此传递路径，而不是关于

如何在下游组件中消耗输出的“ ./output.txt”。这是一个简单但可运行的示例，您可以在顶点管道上尝试一下：