仓库增量负载；更新维度表

Question

我试图弄清楚如何在数据进入我们的系统时增量加载我的事实和维度表。

有没有比以下更简单的方法：

• dim_id = select id from dim_table where dim_table.value='dim value';
• 如果行数 == 0 ->插入到dim_table ...
• 插入到fact(dim,measure)values(dim_id,23131)

如果我有10个维度加载会变得相当麻烦

Answer 1

您真的需要它们是增量的吗？不能使用UUID吗？

我不明白为什么你需要一个 dim_table。

如果您正在使用星型架构，则可以通过以下方式使其发挥作用。

Fact_table
----------
time_id          character(36)
geographic_id    character(36)
measure          whatyouwant

Dim Time
--------
time_id    character(36) (That matches the time_id inside your fact table)
...
...

Dim Geogrphic
-------------
geographic_id character(36) (that matches the geographic_id inside your fact_Table)
....
....

当您填写维度表时，会为您的维度生成一个 uuid。
当您填写事实表时，请查找维度表，以便获取与该值关联的 uuid。

编辑：我认为这可能对您有帮助 http://dev .mysql.com/doc/refman/5.0/en/insert-on-duplicate.html

Answer 2

在标准星型模式中，维度在事实之前加载。
因此，如果存在批量运行的 ETL 流程，最简单的解决方案是尝试更频繁地运行批量。如果您确实需要实时 DW 加载，则必须以某种方式延迟事实，以确保首先加载维度。

当谈到现成的解决方案时，您可能会考虑流事件处理。有多种商业工具，但 EsperTech 是开源的。该系统可以设置为连续运行的 ETL 转换。想象一个持续运行的 Kettle（Talend、SSIS、..）转换。