SQL Server 的数据验证工具(ETL 工具)

发布于 2024-09-01 10:55:54 字数 223 浏览 2 评论 0原文

我在Excel中有一些数据,需要导入到数据库中。是否有任何工具可以验证并可能清理数据?红门有这样的工具吗?

输入将是 Excel。给定表约束,例如。检查、唯一键、日期时间格式、NOT NULL。期望的输出应该至少显示哪些行有问题,然后自动修复一些小错误,例如填充 NULL 列的默认值,自动更正日期时间格式。

我知道使用Python可以构建这样的脚本。但只是想知道什么是流行的方法来做到这一点。谢谢。

I have some data in Excel and need to import into database. Is there any tool that can validate and maybe clean the data? Does Red Gate have such tool?

The input will be Excel. Given table constraints, eg. CHECK, UNIQUE KEY, datetime format, NOT NULL. Desire output should be as least shows which lines are having problems, and then fix some trivial error automatically, like fill in default value for NULL columns, automatically correct datetime format.

I know using Python can build such a script. But just wonder what's the popular way to do this. Thanks.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

爱她像谁 2024-09-08 10:55:54

您通常会加载临时表并对其进行验证。临时表通常会比“真实”表有更多的 varchar 列,所有都可以为空,没有约束等

查找具有重复项的行的示例

SELECT COUNT(*), UniqueKey FROM StagingTable GROUP BY UniqueKey HAVING COUNT(*) > 1

然后您一一运行分类的非空,检查代码等

然后当您满意时,您将从临时表加载真实的表。

You'd normally load a staging table and perform validation on that. The staging table will typically have more varchar columns that the "real" table, all nullable, no constraints etc

Example to find rows with duplicates

SELECT COUNT(*), UniqueKey FROM StagingTable GROUP BY UniqueKey HAVING COUNT(*) > 1

You then run the assorted not null, check code etc one by one

Then when you're satisfied, you'd load the real table from your staging table.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文