data-quality

data-quality

文章 0 浏览 7

在Great_Expections仪表板中显示整行

当期望失败时,我无法在仪表板(数据文档)上查看整个行(而不仅仅是列值),这会导致故障。例如,如果我有故障,因为数字列的最大值超过阈值,我可以…

悲喜皆因你 2025-02-05 13:49:01 2 0

复制数据时,在熊猫数据框中修复数据

到目前为止,我不必对大熊猫做任何繁重的工作,现在我有一些情况,可以使用一些指导。 我有一些生成以下数据框的代码: ID_x HOST_NM IP_ADDRESS_x SE…

慵挽 2025-02-04 09:34:21 1 0

巨大的期望列出了总体价值总数

我已经运行了很高的期望检查Expect_column_values_to_be_unique在其中一列上检查。它产生了以下结果,如下所示,有62个重复项,但在输出列表中,它仅…

橘味果▽酱 2025-02-03 19:30:56 4 0

巨大的期望:如何在GE中的检查点参考中添加雅典娜外部表中的分区(列分区)?

该设置为GE V3,我将AWS Athena用作数据源。但是,我找不到一种方法来告诉“期望”,表格中的表实际用S3中的相对路径分区,例如's3:// path_to_to_bu…

黯淡〆 2025-01-28 18:21:14 2 0

Spark兼容狭窄数据的数据质量框架

我正在尝试在a 格式。 像这样 传感器 时间戳 值 A 12251 12 B 12262 ” A 看起来 图片 “ 的 数 : 十亿 行 数据 值。 我正在为这些数据构建数据质量…

零度℉ 2025-01-26 01:11:23 4 0

如何动态在表中获取多个行的总和

我正在尝试从数据库中多个表的特定数据类型(货币)的列中获取总和。目前,我能够从特定表中获取列列表,但我无法从这些列中获得总和。 这就是我现在…

十六岁半 2025-01-23 02:29:56 3 0

Pyspark如何从两个数据框中识别不匹配的行值

我有以下两个数据帧,我试图从中识别数据帧二中不匹配的行值。这是迁移的一部分,我希望看到源数据迁移/移动到不同目的地后的差异。 source_df +---+-…

没有心的人 2025-01-12 10:26:56 3 0

Informatica Data Quality - 匹配分析

在我们的重复分析要求中,输入数据有 1418 条记录,其中 1380 条记录是重复记录。 在与 PowerCenter 集成的 IDQ 中使用匹配分析(使用密钥生成器、匹…

故事和酒 2024-12-28 14:28:28 4 0

术语“数据完整性”和“数据完整性”之间有区别吗?和“数据质量”?

今天面试的时候被问到这个问题,不知道怎么回答。 任何人都可以提供有关差异的见解吗?…

悍妇囚夫 2024-12-22 00:57:07 5 0

使用 Soundex、Jaro Winkler 和编辑距离 (UTL_MATCH) 匹配 Oracle 重复列值

我正在尝试找到一种可靠的方法来匹配数据库中的重复人员记录。这些数据存在一些严重的数据质量问题,我也在尝试修复这些问题,但在我获得批准之前,我…

寂寞花火° 2024-12-17 06:09:11 6 0

有什么软件可以进行数据质量检查

我正在寻找一些可能的软件选项,这些选项将允许自定义规则来操作批量数据文件(.csv),例如,正确的大写(允许州保留大写和唯一的姓氏),识别特定单…

逆蝶 2024-11-16 20:32:33 5 0

数据质量数据库模型

需要将数据库模型的示例附加到数据库以保证数据质量。答案的最佳形式至少是可以在 MySQL 中执行的 DDL;其他 RDMS DDL 都可以,我将发布另一个问题,…

独自←快乐 2024-10-16 09:56:44 11 0

接受长帐号的最佳可用性实践

最近,一位用户询问(好吧,抱怨)为什么我们网站上的 19 位帐号被分成 4 个长度为 [5,5,5,4] 的单独文本框。作为原始设计师,我无法回答这个问题,但…

如歌彻婉言 2024-09-16 00:47:43 15 0

是否有免费、低成本或开源工具用于匹配姓名/地址数据?

Closed. This question does not meet Stack Overflow guidelines. It is not currently accepting answers. 要求我们推荐或查找工具、库或最喜欢的…

李不 2024-08-31 20:18:26 13 0
更多

推荐作者

陪我终i

文章 0 评论 0

别忘他

文章 0 评论 0

野心澎湃

文章 0 评论 0

蒲公英的约定

文章 0 评论 0

文章 0 评论 0

旧时模样

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文