从一种格式到另一种格式的平面文件转换 - 映射器工具/实现

Question

这是一个很广泛的话题，我在 stackoverflow 和一般谷歌上做了很多研究，但没有得到很好的答案。可能是因为我们的项目需求有点独特（肯定没有太大不同）。

我们有一个 Web 产品，它接受完整的 csv 文件作为一些业务数据的导入。它作为数据的多个部分。

上面的示例

ParentRow
.........Single row with 10-15 columns
EndParentRow
ChildRows
.........Multiple child rows with 10-15 columns
EndChildRows
............
............

根据家长数量会重复多次

我们有 2 个主要问题：

1. 我们有 25-30 名客户使用上述产品，需要每月上传上述 CSV 文件。他们抱怨我们的文件格式令人难以承受（我完全同意，它是由前建筑师设计的）。

2. 所有 25-30 个客户都从另一个系统以自己的格式获取数据（所有系统都有不同的格式）。差异范围包括不同的列名称、与相同文件格式的多表相比的二维数据、不同的数据值（映射/对应于我们系统中的某些值）。

由于时间和金钱的限制，我们无法实现满足所有人需求的地图解决方案。

我们必须想出创造性的解决方案来解决这个问题。我们现在想要探索的一个方向是使用一些开箱即用的通用映射工具将给定的 CSV 格式转换为我们的 CSV 格式。想法是客户将购买这种开箱即用的产品，并通过映射文件为他们提供一次性帮助，然后他们应该能够使用它运行，除非某些映射需要更改。

考虑到这一点，我的研究到目前为止还没有取得好的结果。我遇到的唯一有前途的工具是 Altova Mapforce。考虑到我们的客户不是高级技术用户，这有时确实显得有些过分，而且似乎有点复杂。

对此的任何帮助、想法或建议都将受到高度赞赏。我知道我还没有完全解释问题陈述，因此我将非常乐意回答问题以更好地定义需求。

Answer 1

查看 Pentaho PDI 工具。它是开源的，并且能够轻松地做到这一点。如果您确实愿意，您可以删除所有必要的插件并缩小规模，甚至将其嵌入到您的 Java 应用程序中。