使用 Nifi 中的 PutGCSObject 处理器在 Google Storage 中添加重复对象时出现问题
我正在使用 Nifi 将数据从 Pub/Sub 队列发送到云存储。我使用 ConsumeGCPubSub 处理器从队列中获取数据，并使用 PutGCSObject 处理器在 Nifi 中添加云存储。但 PutGCSObject 处理器正在 Cloud Storage 中发送重复数据。
我还看到该数据在其云存储记录中具有相同的 MD5 哈希代码。可能是什么原因造成的？我该如何解决？
我仔细检查：
- 发布/订阅消息不重复。
- 当我发送 30 条数据时，Nifi 中正好有 30 条数据，
- 我检查了我的谷歌存储有不同的数据。但没有..
- 当我检查它时，来自队列和成功退出 PutGCSObject 处理器的数据数量是相同的，但我看到数据被一遍又一遍地写入。当我查看 NiFi Data Provenance 时，我发现有多个数据具有相同的 FlowFile UUID。
I am using Nifi to send data from Pub/Sub queue to Cloud storage. I'm using the ConsumeGCPubSub processor to fetch data from the queue and the PutGCSObject processor to add Cloud Storage in Nifi. But the PutGCSObject processor is sending duplicate data in Cloud Storage.
I also see that this data has the same MD5 Hash code in its Cloud Storage records. What could be causing this and how can I fix it?
I double checked:
- pub/sub messages is not duplicated.
- When I send 30 piece of data, there are come exactly 30 pieces in Nifi
- I checked my google storage have different data. But there was not..
- When I examine it, the number of data coming from the queue and exiting the PutGCSObject processor as success is the same, but I see that the data is written over and over again. When I looked into NiFi Data Provenance, I found that there are multiple data with the same FlowFile UUID.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
您应该已将终止端的成功标准连接到处理器。
You should have connected the success criterion on the terminate side to the processor.