apache beam / dataflow gosdk管道不会处理任何pubsub消息
我希望每个人的星期五进展顺利。我拼命寻求Apache Beam Go SDK的帮助（ https：//github.com /apache/beam/tree/master/sdks ）。我已经写了一条使用…
如何将objectId从bson封装导入到Apache Beam管道中（与Pymongo兼容）？
嗨，我正在使用Google DataFlow中的管道，该管道加载了一些MongoDB文档（带有Pymongo）并进行处理。在某个时候，我需要将ID投入到mongoDB objectid。 …
在运行Flex模板NoclassDeffoundError时：org/apache/beam/sdk/transforms/dofn
我正在数据流中运行GCP Flex模板。 从模板开始工作时，我会得到以下例外： Error: Unable to initialize main class. com.mycompany.pubsubdfjobs.pro…
Apache Beam Fileio写下压缩文件
我想知道是否可以使用Apache Beam Python SDK的Fileio模块编写压缩文件。目前，我使用模块将文件写入GCP存储桶： _ = (logs | 'Window' >> beam.Windo…
如何通过Java应用程序向GCP提交Apache Beam DataFlow作业
我有一个数据流作业，该作业用Java用Apache Beam编写。我能够通过此步骤在GCP中运行数据流量。 从我的代码创建了数据流模板。然后在云存储中上传模板…
Google DataFlow连续8个期间与JVM失败，用于全球合并
在我的管道中，我有大约400万个记录，流量如下 阅读BigQuery 的所有记录 阅读BigQuery 转换为Proto 全球组合并创建基于KV的SST文件，后来用于RockSDB …
如何在Apache Beam中适当地为API呼叫创建会话
我正在为我的PCollection中的每个元素进行基本的API调用。在最初的实施中，我无需使用会话就打了电话，我的工作将大约9分钟30秒的时间用于1200行。总…
Apache Beam Pipeline：OutOfMemoryException在用Google DataFlow编写AVRO文件为Google Cloud存储时
我们在Apache Beam Java SDK 2.34.0中开发了一个批处理管道，并使用Google Cloud DataFlow Runner运行。我们有一个步骤来编写AVRO文件。 Avro Write引…
缩放超过1个工人时，Kafka到BigQuery管道上的数据流摊位
我有一个kafka-to-to-ligquery dataflow管道，我从多个主题中消费，并使用动态目的地来输出每个主题的合适的bigquery表。 当仅涉及一个工人时，管道会…
使用DataFlow的pubsub到云存储很慢
我正在使用以下示例 snippet向GCS写下PubSub消息： class WriteToGCS(beam.DoFn): def __init__(self, output_path, prefix): self.output_path = out…
在分支PCollections的背景下如何处理？
Apache Beam跑步者可以执行 fusion 以优化图形执行。但是，在某些情况下，融合可能会导致次优性能。 在Cloud DataFlow中，可以通过插入 reshuffle 变…
处理弹性搜索错误将被重定向到BigQuery Table/errortopic，用于使用Java中的DataFlow/Beam记录
使用DataFlow/Apache Beam Framework/GCP，将要写入BigQuery Table/errortopic写入BigQuery Table/errortopic。 我们希望捕获Elasticsearch中的错误，…
Google Cloud DataFlow splattabledofn不增加并行性
我有 pipeline .apply("Read lines", TextIO.read().from(options.getFileInput())) .apply("Split lines", ParDo.of(new LineSplittableDoFn())) .ap…
Apache Beam上的BigQuery Storager API的许可_DENDIEN和DATAFLOW RUNNER上的API API
我的一个数据流工作有以下错误： 2022-06-15T16：12：27.365182607Z来自工人的错误消息：java.lang.runtimeexception：org.apache.beam.sdk.util.user…
