在数据库之前处理数据的应用程序设计

发布于 2024-07-06 17:20:13 字数 844 浏览 9 评论 0原文

我在 Excel 文件（和 csv 文件）中收集了大量数据。数据需要放入数据库（mysql）中。然而，在进入数据库之前，需要对其进行处理。例如，如果第 1 列小于第 3 列，则将 4 添加到第 2 列。在持久化信息之前，必须遵循很多规则。

完成这项任务需要遵循什么好的设计？（使用java）

附加说明

该过程需要自动化。从某种意义上说，我不必手动进入并更改数据。我们讨论的是数千行数据，每行 15 列信息。

目前，我已经建立了一种责任链设计。每个规则一个类（Java）。当一条规则完成后，它会调用下一条规则。

更多信息

通常每个数据表大约有 5000 行。速度并不是一个大问题，因为这么大的输入并不经常发生。

我考虑过流口水，但我不确定这项任务对于流口水来说是否足够复杂。

规则示例：

所有货币（特定列中的数据）不得包含货币符号。
类别名称必须统一（例如，书柜 = 书柜）
参赛日期不能是将来的日期
文本输入只能包含[AZ 0-9 \s]

等..
此外，如果任何信息列无效，则需要在以下情况下报告：处理完成（或者可能停止处理）。

我当前的解决方案有效。不过我认为还有改进的空间，所以我正在寻找关于如何改进它以及/或其他人如何处理类似的理想情况。

我考虑过（非常简单地）使用流口水，但我不确定这项工作是否复杂到足以利用流口水。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

桃酥萝莉 2024-07-13 17:20:13

如果我不想一步完成此操作（正如 Oli 提到的），我可能会使用管道和过滤器设计。由于您的规则相对简单，我可能会做几个基于委托的类。例如（C# 代码，但 Java 应该非常相似...也许有人可以翻译？）：

interface IFilter {
   public IEnumerable<string> Filter(IEnumerable<string> file) {
   }
}

class PredicateFilter : IFilter {
   public PredicateFilter(Predicate<string> predicate) { }

   public IEnumerable<string> Filter(IEnumerable<string> file) {
      foreach (string s in file) {
         if (this.Predicate(s)) {
            yield return s;
         }
      }
   }
}

class ActionFilter : IFilter {
  public ActionFilter(Action<string> action) { }

  public IEnumerable<string> Filter(IEnumerable<string> file) {
      foreach (string s in file) {
         this.Action(s);
         yield return s;
      }
  }
}

class ReplaceFilter : IFilter {
  public ReplaceFilter(Func<string, string> replace) { }

  public IEnumerable<string> Filter(IEnumerable<string> file) {
     foreach (string s in file) {
        yield return this.Replace(s);
     }
  }
}

从那里，您可以直接使用委托过滤器，或者根据具体情况对它们进行子类化。然后，将它们注册到管道中，管道将让它们通过每个过滤器。

If I didn't care to do this in 1 step (as Oli mentions), I'd probably use a pipe and filters design. Since your rules are relatively simple, I'd probably do a couple delegate based classes. For instance (C# code, but Java should be pretty similar...perhaps someone could translate?):

interface IFilter {
   public IEnumerable<string> Filter(IEnumerable<string> file) {
   }
}

class PredicateFilter : IFilter {
   public PredicateFilter(Predicate<string> predicate) { }

   public IEnumerable<string> Filter(IEnumerable<string> file) {
      foreach (string s in file) {
         if (this.Predicate(s)) {
            yield return s;
         }
      }
   }
}

class ActionFilter : IFilter {
  public ActionFilter(Action<string> action) { }

  public IEnumerable<string> Filter(IEnumerable<string> file) {
      foreach (string s in file) {
         this.Action(s);
         yield return s;
      }
  }
}

class ReplaceFilter : IFilter {
  public ReplaceFilter(Func<string, string> replace) { }

  public IEnumerable<string> Filter(IEnumerable<string> file) {
     foreach (string s in file) {
        yield return this.Replace(s);
     }
  }
}

From there, you could either use the delegate filters directly, or subclass them for the specifics. Then, register them with a Pipeline that will pass them through each filter.

回复收藏 0 原文

呢古 2024-07-13 17:20:13

我觉得你的方法还可以。特别是如果您在每个处理器上使用相同的接口。

您还可以考虑称为 Drules 的东西，目前是 Jboss 规则。前一段时间，我将其用于我的应用程序的规则密集部分，我喜欢它的是，业务逻辑可以用电子表格或 DSL 来表达，然后编译为 java（运行时，我认为有也是一个编译时选项）。它使规则更加简洁，因此更具可读性。它也很容易学习（2天左右）。

这是开源 Jboss-rules 的链接。在 jboss.com，如果更符合您公司的口味，您无疑可以购买官方维护的版本。

回复收藏 0 原文

债姬 2024-07-13 17:20:13

只需创建一个函数来执行每个规则，并为每个值调用每个适用的函数。我不明白这如何需要任何异国情调的架构。

回复收藏 0 原文

风和你 2024-07-13 17:20:13

每条规则一个类？ 真的吗？也许我不理解这些规则的数量或复杂性，但我会（半伪代码）：

public class ALine {
    private int col1;
    private int col2;
    private int coln;
    // ...

    public ALine(string line) {
         // read row into private variables
         // ...

         this.Process();
         this.Insert();
    }

    public void Process() {
         // do all your rules here working with the local variables
    }

    public void Insert() {
        // write to DB
    }
}

foreach line in csv
    new ALine(line);

A class for each rule? Really? Perhaps I'm not understanding the quantity or complexity of these rules, but I would (semi-pseudo-code):

public class ALine {
    private int col1;
    private int col2;
    private int coln;
    // ...

    public ALine(string line) {
         // read row into private variables
         // ...

         this.Process();
         this.Insert();
    }

    public void Process() {
         // do all your rules here working with the local variables
    }

    public void Insert() {
        // write to DB
    }
}

foreach line in csv
    new ALine(line);

回复收藏 0 原文