GCP批处理数据管道
我正在研究GCP数据管道。我正在使用数据流，数据proc，而目标是很大的查询。我在AWS中创建了多个数据管道，这是我第一次在GCP中。
在AWS中，我将DEEQ和GLUE一起用于登台区域登录文件后进行数据验证；因此，我的问题是，我们在GCP中是否有类似的DEEQ服务，我可以将其用于数据验证或DataProc，DataFlow或任何其他服务都可以独自完成。
谢谢
I'm working on GCP data pipeline. I'm using Dataflow, Dataproc, and destination is big query. I have created multiple data pipelines in AWS and this is my first time in GCP.
In AWS I used deeq with Glue for data validation after landing files in the staging area; so my question is do we have any similar deeq service in GCP which I can use for data validation or DataProc,Dataflow or any other service will do it by own.
Thanks
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论