Spring-Batch 用于大规模夜间/每小时 Hive/MySQL 数据处理
我正在考虑替换一堆 Python ETL 脚本,这些脚本对大量数据执行每晚/每小时的数据摘要和统计收集。 我想要实现的是 鲁棒性 - 失败的作业/步骤应该自动…
如何将连接管理器嵌入到 SSIS 脚本组件的 C# 代码中?
当我打开脚本组件时,我可以从下拉列表中选择连接管理器: 这个连接管理器拥有一切,如果我将它作为 C# 代码中的对象,我就不需要不再编写硬编码的连…
SQL Server Integration Services - 增量数据加载哈希比较
使用 SQL Server Integration Services (SSIS) 执行增量数据加载,比较要导入的行数据和现有行数据的哈希值。我正在使用这个: http://ssismhash.code…
使用 REST Web 服务进行 ETL/数据仓库
有人使用基于 REST 的方法进行 ETL/数据仓库操作吗?换句话说,通过 REST Web 服务调用调用 ETL 和 OLAP/数据库刷新作业: 例如 PUT http://company.c…
Oracle--> SQL - 强制从非 unicode 转换为 unicode?
我有一个 ETL,它使用 OLEDB FastLoad 将表从 Oracle 导入到 SQL 2008。 Oracle中的数据是非unicode的。 当在 SQL 中创建表时,它是使用 unicode 数据…
ETL 和 ELT 哪个更好?
Closed. This question is opinion-based. It is not currently accepting answers. 想要改进这个问题?更新问题,以便可以通过编辑这篇文章用事实和…
通过 SSIS 发现文件系统中的文件
我有一个文件夹,其中的文件将被删除以导入到我的数据仓库中。 \\server\share\loading_area 我有以下(继承的)代码,它使用 xp_cmdshell shivers 调…
将多种文件类型导入 SSIS/映射字段
我正在开发一个新的数据仓库,试图从许多不同的提供商导入许多不同格式的文件。 每个月的文件名可能相同,例如 MonthlyReturns.xls/.csv,或者某种模…
用于控制权转移的 Common Lisp 条件系统
我首先承认,以下是对我想做的事情的非常糟糕的描述。提前致歉。请提出问题来帮助我解释。 :-) 我已经用其他语言编写了 ETL(提取、转换、加载),这…