巨大的期望：如何在GE中的检查点参考中添加雅典娜外部表中的分区（列分区）？
该设置为GE V3，我将AWS Athena用作数据源。但是，我找不到一种方法来告诉“期望”，表格中的表实际用S3中的相对路径分区，例如's3：// path_to_to_bucket/path_to_to_to_to_to_to_to_to_to_table/版本= 2022-02-02-01'。
我正在寻找一种运行Expect_column_values_to_be_unique的方法，但是当它采用下一个选择's3：// path_to_to_bucket/path_to_to_to_to_to_table/path_to_table/version = 20222-02-02'时，它会返回失败。
但是，仅此而已，因为它同时使用“版本= 2022-02-02”和“版本= 2022-02-01”，以验证表主要键的唯一性。
我的问题是：如何将版本作为参数传递给期望 /检查点？
The setup is GE v3 and I am using AWS Athena as a Data Source. However, I couldn't find a way to tell the "expectation" that the table in actually partitioned with a relative path in S3 like 's3://path_to_bucket/path_to_db/path_to_table/version=2022-02-01'.
I am looking for a way to run a expect_column_values_to_be_unique but when it takes the next parition 's3://path_to_bucket/path_to_db/path_to_table/version=2022-02-02', it returns a fail.
However, it only happens because it takes both 'version=2022-02-02' and 'version=2022-02-01' to verify the uniqueness on the table's primary key.
My question is: how can I pass version as an argument to the expectation / checkpoint?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论