大查询表作为Kubeflow管道中的工件

Question

我正在KubeFlow中运行自定义组件，以进行一些数据操作，然后将结果保存为一个大查询表。如何将桌子注册为工件，以便将其传递到管道的不同阶段？

最终，我计划使同行者创建多个BigQuery表，从中我将创建多个机器学习模型。我希望能够将这些表传递到下一阶段，以便可以从它们创建模型。

目前，我正在做的只是将URI保存到Pandas DataFrame中。

def get_the_data(
    project_id: str,
    url: str,
    dataset_uri: Output[Dataset],
    lag: int = 0, 
):
  ## table name
  table_id = url + "_lag_"  + str(lag)
  ## code to query and create new table
  ##
  ##
  
  ## store URI in a dataframe which can be passed to next stage
  df=pd.DataFrame(data=[table_id], columns = ['path'])
  df.to_csv(dataset_uri.path + ".csv" , index=False, encoding='utf-8-sig')

最终，我将使用ParallelFor OP并行多次运行此组件并创建多个表。我不知道如何管理和收集表ID，因此我可以对它们进行后续操作。