etl

etl

文章 16 浏览 97

自动化 ETL/数据库迁移解决方案

我正在寻找一个 ETL 解决方案,我们可以手动创建配置,然后部署以自主运行。这是基本的转换,不需要有太多的功能。关键点是可以根据特定需求进行更多…

表情可笑 2024-09-02 12:38:05 0 0

如何从Google Analytics中提取数据并从中构建数据仓库(webhouse)?

我在 Google Analytics 中拥有点击流数据,例如引荐 URL、热门登陆页面、热门退出页面,以及页面浏览量、访问次数、跳出率等指标。目前还没有可以存储…

请你别敷衍 2024-09-02 10:50:47 3 0

ETL、Esper 还是 Drools?

问题环境与JavaEE、Spring有关, 我正在开发一个系统,可以启动和停止传入消息的任意TCP(或其他)侦听器。可能需要验证这些消息。这些消息需要被解析…

撩发小公举 2024-09-02 07:52:01 3 0

使用 SSIS 将两个表合并为一个目标表

我是 SSIS 新手,所以请耐心等待。 我为 SQL Server 2008 创建了一个 Integration Services 项目,用于将数据从旧数据库导入到新数据库。我需要做的一…

清风疏影 2024-09-01 20:49:50 2 0

处理数据仓库负载中的主键重复项

我目前正在构建一个 ETL 系统来从事务系统加载数据仓库。我的事实表的粒度是事务级别。为了确保不加载重复行,我在事实表上放置了一个主键,即事务 ID…

软甜啾 2024-08-31 02:19:51 3 0

在 MySql 中实施一个 ETL 项目的最佳免费解决方案是什么

Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …

屋顶上的小猫咪 2024-08-30 17:54:57 2 0

C# 将大量数据从 CSV 导入数据库

将大量数据从 CSV(300 万行以上)加载到数据库的最有效方法是什么。 数据需要格式化(例如名称列需要分为名字和姓氏等) 我需要尽可能高效地完成此操…

诗笺 2024-08-28 17:53:17 5 0

ETL 中 DataflowTask 内的循环控制

作为 SSIS 和 ETL 过程的新手,我想知道是否有办法循环遍历 DataFlowTask 中的记录集并将每一行(从行派生参数)传递到存储过程(ETL 阶段的下一步) …

仲春光 2024-08-27 00:46:06 3 0

ETL操作-返回主键

我正在使用 Talend 填充数据仓库。我的工作是将客户数据写入维度表,将交易数据写入事实表。事实表上的代理键 (p_key) 是自动递增的。当我插入新客户…

但可醉心 2024-08-26 19:44:02 7 0

PostgreSQL 到数据仓库:近实时 ETL/数据提取的最佳方法

背景: 我有一个针对 OLTP 进行了深度优化的 PostgreSQL (v8.3) 数据库。 我需要在半实时的基础上从中提取数据(有人肯定会问半实时意味着什么,答案…

淡莣 2024-08-26 19:09:30 9 0

分布式ETL问题

寻找适用于 200 多个分布式系统(Windows、AS400、Linux 等)的 ETL 系统的任何建议。 我们每月从所有客户(无论系统类型如何)收集数据,将其带回,…

贱人配狗天长地久 2024-08-26 09:35:03 4 0

从事务性平面数据库填充事实表和维度表的最佳实践

我想在 SSIS / SSAS 中填充星型模式/多维数据集。 我准备了所有维度表和事实表、主键等。 源是一个“平面”(项目级别)表,我现在的问题是如何拆分它…

世俗缘 2024-08-26 00:18:46 3 0

在数据集市中填充事实表的想法

我正在寻找在数据集市中填充事实表的想法。假设我有以下维度 Physician Patient date geo_location Patient_demography test 我使用了两个 ETL 工具来…

孤城病女 2024-08-25 18:48:49 4 0

使用 C# 导入平面文件的最佳第三方组件是什么?

只是寻找一个可以以相当简单的方式以编程方式调用的组件来导入平面数据文件。数据通常为 100,000-500,000 行,每行包含大约 200 个文本字段,长度约为…

入怼 2024-08-24 02:58:01 5 0

请解释一下 AbInitio 恢复文件(.rec)?我们什么时候应该回滚该文件?

请介绍一下AbInitio恢复文件的概念。 当 Abinitio 图执行失败时,哪些情况下应该回滚恢复文件,哪些情况下不应该回滚恢复文件。 请提供任何 AbInitio…

意中人 2024-08-23 09:46:34 3 0
更多

推荐作者

qq_FjTq5B

文章 0 评论 0

18273202778

文章 0 评论 0

WordPress小学生

文章 0 评论 0

〃温暖了心ぐ

文章 0 评论 0

迷乱花海

文章 0 评论 0

niuniu

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文