ETL架构

Question

我被要求制作一个 ETL 风格的应用程序，将信息从一个数据源传输到另一个数据源。目前，我决定使用三层架构，但我想了解有关最佳实践以及此维基百科页面上描述的生命周期的更多信息：

http://en.wikipedia.org/wiki/Extract,_transform,_load

ETL 架构设计的四层方法

• 功能层：核心功能ETL处理（提取、转换和加载）。
• 运营管理层：作业流定义和管理、参数、调度、监控、通信和警报。
• 审计、平衡和控制（ABC）层：作业执行统计、平衡和控制、拒绝和错误处理、代码管理。
• 实用层：支持所有其他层的通用组件。

现实生活中的 ETL 周期

典型的现实 ETL 周期由以下执行步骤组成：

1. 周期启动
2. 构建参考数据
3. 提取（从源中）
4. 验证
5. 转换（清理、应用业务规则、检查数据完整性、创建聚合或分解）
6. 阶段（加载到暂存表（如果使用）
7. 审核报告（例如，遵守业务规则。此外，如果发生故障，有助于诊断/修复）
8. 发布（到目标表）
9. 存档
10. 清理

Answer 1

我不知道你的情况是什么，或者你的要求是什么，但你可能想太多了。

仅名称就是“the”架构：

• Extract
• Transform
• Load

将数据库表导出到 CSV 可以被视为“ET”，而加载 CSV 则被视为“L”。大多数 ETL 问题并不复杂。

除此之外，您应该获取 Java 中已有的 1 或 200 万个 ETL 和 ESB 包中的任何一个，无论是免费的还是商业的、库和完整的船处理系统，并简单地采用您最喜欢的其中一个。

拿一块白板，用线条将一些气泡串在一起，然后将其转化为代码。

Answer 2

回答“最佳实践是什么？”这个问题。答案取决于您想要实现的目标。

为了简单起见，我们假设您正在执行以下操作之一：

1. 您正在构建一个数据仓库，它将以某种方式重组数据
2. 您正在将数据从 A 点移动到 B 点，但您没有重组数据

当我使用“”这个词时重组”，我的意思是改变表格的粒度或最低级别的细节。

1. 通常遵循您问题中概述的十个步骤。一般最佳实践：

• 将尽可能多的转换逻辑推送到数据库资源，而不是 ETL 软件（ETL 软件通常速度较慢）
• 验证、转换和审核步骤用于采用您的组织使用的任何主数据管理 (MDM) 标准

2这更加简单，因此可以使用您问题中概述的任何一种方法。