etl

etl

文章 16 浏览 97

Spring-Batch 用于大规模夜间/每小时 Hive/MySQL 数据处理

我正在考虑替换一堆 Python ETL 脚本,这些脚本对大量数据执行每晚/每小时的数据摘要和统计收集。 我想要实现的是 鲁棒性 - 失败的作业/步骤应该自动…

盗琴音 2024-09-14 05:34:29 1 0

提取数据客户端

我需要能够从客户端计算机上的数据源提取和转换数据,并通过 Web 服务调用将其发送到我们的数据存储中。我希望能够利用 SSIS,但 Sql Server 许可协议…

似最初 2024-09-14 02:38:40 3 0

ETL性能问题

我在生产环境中运行 ETL 流程时遇到一个重要问题。当我的 ETL 运行时,OLAP 服务器转动得非常慢,我认为这是因为 ETL 正在更新事实表中的几个现有行并…

调妓 2024-09-13 14:31:46 4 0

如何将连接管理器嵌入到 SSIS 脚本组件的 C# 代码中?

当我打开脚本组件时,我可以从下拉列表中选择连接管理器: 这个连接管理器拥有一切,如果我将它作为 C# 代码中的对象,我就不需要不再编写硬编码的连…

我是男神闪亮亮 2024-09-13 03:34:57 0 0

什么是提取/转换/加载 (ETL)?

我尝试阅读维基百科文章“提取、转换、加载”,但这只会让我更加困惑...... 有人可以解释一下 ETL 是什么,以及它实际上是如何完成的吗?…

痞味浪人 2024-09-12 09:11:07 1 0

SQL Server Integration Services - 增量数据加载哈希比较

使用 SQL Server Integration Services (SSIS) 执行增量数据加载,比较要导入的行数据和现有行数据的哈希值。我正在使用这个: http://ssismhash.code…

江挽川 2024-09-11 19:54:41 2 0

postgresql 复制 +擦洗

是否有任何简单的(内置、附加、开源或商业)可以在 Postgresql(主从)上进行复制,以便在复制时清理从属内部的数据以符合 PCI 合规性? ETL工具怎么…

情话墙 2024-09-10 06:01:53 1 0

使用 REST Web 服务进行 ETL/数据仓库

有人使用基于 REST 的方法进行 ETL/数据仓库操作吗?换句话说,通过 REST Web 服务调用调用 ETL 和 OLAP/数据库刷新作业: 例如 PUT http://company.c…

蛮可爱 2024-09-09 07:52:10 2 0

SQL Server:批量加载的唯一键

我正在开发一个数据仓库项目,其中多个系统将数据加载到暂存区域以进行后续处理。每个表都有一个“loadId”列,它是“loads”表的外键,其中包含加载…

半岛未凉 2024-09-08 06:06:35 3 0

Oracle--> SQL - 强制从非 unicode 转换为 unicode?

我有一个 ETL,它使用 OLEDB FastLoad 将表从 Oracle 导入到 SQL 2008。 Oracle中的数据是非unicode的。 当在 SQL 中创建表时,它是使用 unicode 数据…

零度℉ 2024-09-06 19:05:53 1 0

ETL 和 ELT 哪个更好?

Closed. This question is opinion-based. It is not currently accepting answers. 想要改进这个问题?更新问题,以便可以通过编辑这篇文章用事实和…

客…行舟 2024-09-06 03:29:54 4 0

通过 SSIS 发现文件系统中的文件

我有一个文件夹,其中的文件将被删除以导入到我的数据仓库中。 \\server\share\loading_area 我有以下(继承的)代码,它使用 xp_cmdshell shivers 调…

旧伤还要旧人安 2024-09-05 20:34:26 1 0

将多种文件类型导入 SSIS/映射字段

我正在开发一个新的数据仓库,试图从许多不同的提供商导入许多不同格式的文件。 每个月的文件名可能相同,例如 MonthlyReturns.xls/.csv,或者某种模…

时光沙漏 2024-09-05 20:21:58 1 0

SSIS XML 处理

在我的工作中,我需要导入大量(产品)数据。最近我们开始使用 SSIS,它确实比自定义 .net 导入工具更好。经过 3 个项目后,我们发现使用带有 c# xpat…

东京女 2024-09-05 06:14:04 0 0

用于控制权转移的 Common Lisp 条件系统

我首先承认,以下是对我想做的事情的非常糟糕的描述。提前致歉。请提出问题来帮助我解释。 :-) 我已经用其他语言编写了 ETL(提取、转换、加载),这…

往事风中埋 2024-09-03 07:19:02 2 0
更多

推荐作者

qq_FjTq5B

文章 0 评论 0

18273202778

文章 0 评论 0

WordPress小学生

文章 0 评论 0

〃温暖了心ぐ

文章 0 评论 0

迷乱花海

文章 0 评论 0

niuniu

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文