etl

etl

文章 16 浏览 97

CDC 和 ETL 帮助/建议

这是背景。 我们有几个不同的客户,每个客户都有不同的后端源数据库。我们希望返回来获取后端数据库的实时更改,然后将数据转换为目标数据库中的目标…

寻梦旅人 2024-08-22 22:59:33 5 0

ETL 的字段特定错误

我正在 MS SQL Server 中创建 ETL 过程,并且希望出现特定于特定行的特定列的错误。例如,数据最初从 Excel 文件加载到一个表(我们称之为初始表)中…

第七度阳光i 2024-08-22 06:22:46 3 0

可重用的 SQL Server 存储过程;筑巢;全局变量

我想制作一些可重用的、有点动态的 TSQL 代码,可以在许多其他存储过程中调用,但我正在努力解决如何使用 SQL Server 实现这一点。 环境是许多分布式…

只为一人 2024-08-21 18:15:30 2 0

Sybase:如何使用 SQL 从 CHAR 或 VARCHAR 字段中删除不可打印的字符?

我正在使用一个 Sybase 数据库,该数据库的某些字符串字段中似乎包含不可打印的字符,这导致我们的一些处理代码失效。乍一看,它似乎只是换行符和回车…

鹊巢 2024-08-21 05:11:28 5 0

SQL Server ETL 处理事务日志

是否可以在临时数据库中为 ETL 过程设置简单恢复模式...客户甚至没有进行定期备份!那么保留事务日志有什么意义... 我建议在批量导入后组织每日备份,…

玉环 2024-08-20 05:51:00 2 0

SQL Server Integration Services (SSIS) 每次运行时都会重新编译 C# 代码吗?

我们有一个实时获取数据并将记录添加到数据库的流程。我们使用 SQL Server 2008 Integration Services 来运行提取转换加载 (ETL) 过程。我们从 FTP 站…

南城旧梦 2024-08-19 21:37:27 2 0

在Powershell中,按记录类型分割大型文本文件的最有效方法是什么?

我正在使用 Powershell 进行一些 ETL 工作,读取压缩文本文件并根据每行的前三个字符将它们拆分出来。 如果我只是过滤输入文件,我可以将过滤后的流传…

冰雪之触 2024-08-19 17:32:55 6 0

用于基于 Web 的数据导入和 ETL 的模块或工具?

Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …

手心的海 2024-08-19 10:57:35 4 0

在 C# 中读取制表符分隔的文本文件的最佳方法是什么

我们有一个大约 100,000 行的文本文件,每行大约 50 列,大部分数据都非常小(5 到 10 个字符或数字)。 这是一个非常简单的任务,但只是想知道将此数…

等你爱我 2024-08-19 03:32:58 3 0

何时从 OLAP DB 中删除数据?

我是 OLAP 新手。 我了解表结构和ETL过程。 我不明白何时应该从事实表中删除数据。 假设我正在创建一个事件报告应用程序。每个事件都有完成所需的持续…

じее 2024-08-18 20:38:56 5 0

用于将数据加载到 Rails 应用程序中的 ETL 框架

我需要定期将 Rails 应用程序的数据从多个提供程序(基于 REST/SOAP 的 XML 提要)加载到数据库中。我编写了一组 Rake 任务,这些任务由每当生成的 cr…

太阳公公是暖光 2024-08-18 15:42:33 4 0

对大块代码进行单元测试(映射、翻译等)

我们对大部分业务逻辑进行单元测试,但仍停留在如何最好地测试一些大型服务任务和导入/导出例程上。例如,考虑将工资单数据从一个系统导出到第三方系…

離殇 2024-08-17 16:31:58 3 0

设计多输入/多输出系统

Closed. This question needs debugging details. It is not currently accepting answers. 编辑问题以包含所需行为、特定问题或错误以及重现问题所…

何必那么矫情 2024-08-17 03:26:25 6 0

对于开发者来说,值得学习/使用SSIS吗?

我开始在目前的工作中参与相当多的 ETL 工作,而且每个人似乎都非常偏爱 SSIS。我正在努力尝试通过 BI studio 进行最琐碎的转换,这些转换通常相当于…

往日情怀 2024-08-16 09:50:59 1 0

Web 服务适合 ETL 用途吗?

我的公司正在考虑使用 Web 服务作为 ETL 流程的手段。然而,我认为 Web 服务不适合这个目的,原因如下: 1. Web 服务在生成大型 xml 时可能会消耗大量…

嘦怹 2024-08-16 03:58:51 4 0
更多

推荐作者

qq_FjTq5B

文章 0 评论 0

18273202778

文章 0 评论 0

WordPress小学生

文章 0 评论 0

〃温暖了心ぐ

文章 0 评论 0

迷乱花海

文章 0 评论 0

niuniu

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文