如何使用Apache Beam / Google DataFlow Python拆分大型镶木木材文件

Question

我需要使用Apache Beam / Google DataFlow拆分30GB Parquet文件。 这是代码：

    with beam.Pipeline(options=pipeline_options) as p:
        (
            p 
            | 'Read' >> beam.io.ReadFromParquet("gs://my-bucket/input/my-file.parquet")
            | 'Write' >> beam.io.WriteToParquet(
                file_path_prefix="gs://my-bucket/output/",
                schema=SCHEMA,
                codec='snappy',
                file_name_suffix='.parquet',
                num_shards=20,
            )
         )

当我在小镶木木上运行此代码时，它运行正常。但是，当我在一个大文件（30GB parquet）上运行它时，它会粘上并在闲置时间后丢下错误：

Root cause: The worker lost contact with the service.

我试图在更强大的虚拟机上运行它，如建议在这里：

--worker_machine_type=e2-standard-2 --disk_size_gb=500

但是这次，作业在同一步骤上粘贴并永远冻结：

我不是经验丰富的Apache Beam和DataFlow用户，很长一段时间都没有使用它。感谢任何帮助。