有没有办法强制数据流工作长时间运行后停止

Question

是否有一种方法可以强迫数据流工作，如果运行时间比XXX小时更长？ 亲切的问候 马可

Answer 1

将评论作为答案。

我们正在为批处理管道实施此操作。它尚未作为数据流标志可用，但会在一个月内。

Answer 2

我们最近为数据流实施了此功能。您可以通过额外的实验来做到这一点：

--experiments=max_workflow_runtime_walltime_seconds=300

或任何秒数。

---

从编程上讲，这就是这样：

String experimentValue = String.format(
    "max_workflow_runtime_walltime_seconds=%d",
    killAfterSeconds);
ExperimentalOptions.addExperiment(myOptions.as(ExperimentalOptions.class), experimentValue);

在Python中：

experiment_value = "max_workflow_runtime_walltime_seconds=%d" % timeout_secs
my_options.view_as(DebugOptions).add_experiment(experiment_value)