在运行Flex模板NoclassDeffoundError时：org/apache/beam/sdk/transforms/dofn
我正在数据流中运行GCP Flex模板。 从模板开始工作时，我会得到以下例外： Error: Unable to initialize main class. com.mycompany.pubsubdfjobs.pro…
Google DataFlow无法创建对GCS的模板
我正在Google Cloud DataFlow上构建光束管道。 我遇到了一个错误，即云数据流没有写入模板目录的权限。 （no Storage.Objects.Create访问） 这是我遇…
数据流流管线错误：＆quot; get_message_id＆＃x27;不是定义的。它可以与DirectRunner一起在本地工作，但在DataFlow上不使用
在数据流中运行流媒体管道时，我有一个奇怪的错误。 我已经通过DirectRunner在本地测试了管道，并且它可以正常工作，但是当我在DataFlow上运行它时，…
如何由于Apache Beam Java SDK中的错误而找到被拒绝的文件
我有要处理的相同类型文件的 n 我将提供通配符输入模式（ c：\\ users \\*\\*\\*）。 因此，现在我如何找到文件名和记录，这些文件名和记录已被拒绝在…
如何在解决方案中的每个软件包中找到每个数据流任务中的源和目标？
我有数百个未记录的SSIS软件包。我想提出代码/程序，以在给定解决方案中的每个软件包中列出所有数据流任务。列表应包括： 软件包名称，数据流任务名称…
从InfluxDB到MQTT经纪/服务器的输出数据
这是我第一次与MQTT合作，我想获取从InfluxDB到雪花的数据，但是在这样做之前，我必须： 将数据从InfluxDB到MQTT，我找不到任何在线示例。 我尝试的是…
dataflow teradata jdbc连接比例字符串
我有近3310000米隆的数据数据。当我想通过DataFloq转移到BigQuery时，需要将近20分钟，整个过程的时间很高。 为了减少此过程的时间，我已经尝试调整预…
Apache Beam FiredWindow不做GroupByKey转换后做任何事情
我构建了一条管道，该管道从Confluent Kafka读取它处理记录，然后使用侧面输出将其分成被拒绝和批准的PCollections，然后批准的PCollections将其写入B…
当收集大小为0时，我们如何防止在数据流管线中写入空文件？
我有一个数据流管线，如果有任何不正确的记录，我正在解析文件，然后我在GCS存储桶上写下它，但是当输入文件中没有错误时，数据仍然在GCS桶上写入空文…
如何在数据流中执行后处理任务？执行管道后的后处理费用
我正在使用Apache Beam处理数据流，并且正在读取GCS存储桶中的输入文件。管道执行后，我想执行一些任务，例如将输入文件移动到其他GCS位置。 我编写了…
