分布式ETL问题

Question

寻找适用于 200 多个分布式系统（Windows、AS400、Linux 等）的 ETL 系统的任何建议。

我们每月从所有客户（无论系统类型如何）收集数据，将其带回，一起处理并将聚合解决方案发送回给他们。我的任务是使这个系统自动化——任何关于如何稳健地做到这一点的建议，我真的不想重新发明轮子。我不拥有任何要从中提取数据的系统，这使这项任务变得更加困难，但可以安装客户端。

我已经用 Java 创建了一个原型客户端/服务器架构，并使用 FTP 进行传输，但我觉得它很脆弱。我应该注意到，不同系统的所有提取/转换代码都已经存在于 Java 中（尽管是遗留的）。

我应该提到，我们目前每月提取一次数据，但正在努力每周提取一次数据。

任何见解都值得赞赏。

Answer 1

我认为这将取决于该项目将如何发展。如果这个项目会增加更多的要求并且涉及一些资金，那么 ETL 工具可能是个好主意。

但是，如果您现在有固定的输出（报告）并且不打算将其转移到任何地方，那么自定义 ETL 可能是值得的。原因是大多数 ETL 工具都有各种输出格式（图表、文本文件等）并且使用工具很方便，但最重要的是数据移动部分几乎对所有工具来说都是通用的。即使使用任何其他 ETL 工具，您也需要实现与现在相同的查询，而且还需要学习该工具。谁知道？某些工具可能涉及 200 多个站点的安装。

最近，我们公司花了很多钱购买了报表工具和报表工具。服务器和人力资源来构建良好的 ETL，因为我们内部的 ETL 因速度慢且外观不专业而受到批评（你知道它没有使用流行的 ETL 工具。它是一堆脚本命令）。随着所有资金的投入，该项目几乎面临着死胡同。

还有一件事。我不明白Java & FTP 参与了这个过程。
您可以使用SQL直接连接客户系统中的DB吗？
如果可以的话，使用 SQL &存储过程总是比使用 JAVA 和 Java 更好。 FTP。

希望它会有所帮助。