事件关联和过滤 - 如何、从哪里开始？

Question

获得异步事件流，其中每个事件都包含以下信息 -

• 代理机构（我的解决方案可能提供服务的多个代理机构之一）
• 代理（代理机构中的多个代理之一）
• 服务实体（由 1 或 1 个代理服务的个人/组织）更多机构）
• 日期+时间
• 类数据（来自固定但大量标签的标签）

我需要做的是 --

1. 关联基于服务实体、日期+时间和类数据的事件，以及创建一个合并的新事件。示例：

   事件 #0021：{ 机构='XYZ'，代理='ABC'，服务实体='MMN'，日期+时间='12-03-2011/11:03:37'，班级日期= '错过递送、不重复、无法追踪、孤儿' }

   事件#0193：{ 代理='KLM'，代理='DAY'，服务实体='MMN'，日期+时间='12-03-2011/12:32:21'，班级日期= '错过交货、孤儿、丢失' }

   事件#1217：{ 代理='KLM'，代理='CARE'，服务实体='MMN'，日期+时间='12-03-2011/18:50:45'，班级日期= “升级”}

   在这里，我发现 3 个事件在时间上有间隔（间隔超过 7 小时），它们针对同一服务实体 (MMN)，在特定时间窗口（例如 24 小时）内发生，具有匹配或相关类数据。

2. 最后创建一个可以表示所得出的推理的合并（新）事件。

3. 能够基于特定时间段内的特定类数据标签（例如错过的投递）等内容，针对每个代理机构、每个代理机构、每个服务实体创建报告。这可以使用原始/输入事件或合成（推理）事件来完成。

4. 虽然这不是今天的要求，但很可能在未来出现，类数据中出现的“标签”可以增长，而无需任何人为干预。所以不确定这是否应该被视为非结构化数据。

5. 也不是立即要求，但将来可能需要识别事件发生的趋势/模式（即事件1导致事件2导致事件3）。

事件到达率可能相当高...可能每分钟数千个事件。也许更多。而且，我需要将原始/合成事件存档一段时间（一个月左右）。

我的解决方案需要基于 FOSS 组件（最好）。迄今为止所做的一些研究都指向 CEP（复杂事件处理）、贝叶斯网络/分类、预测分析的方向。

寻找一些有关采取方法的建议。我更愿意走一条以最小的难度/时间满足我的大部分目标的道路，或者换句话说，“学习人工智能”或“正式的统计方法”不是我的短期目标:-)

Answer 1

迈克，

您是否考虑过像 Esper/Nesper 这样的东西，看看它们是否可以满足您的要求？虽然我自己也看过类似的东西——尤其是在 Erlang 上（查看我的帖子 此处），您会在那里找到一些有用的答案。

我知道了

Answer 2

你的问题是一个战术问题，而不是一个程序问题。两种类型都有自己的一套工具，如果您尝试使用程序工具解决战术问题，您将陷入痛苦的世界。

只是为了澄清术语，当我说程序时，我指的是用例，您可以说先做 X，然后做 Y，然后做 Z。对于战术问题，X、Y 和 Z 可以随时发生，并且您必须能够处理事件。

您的 CEP 走在正确的轨道上。您还可以考虑使用规则引擎。你没有提到你的开发环境是什么，但如果是 Java，你可以看看 Jess。如果您确实想要一个漂亮且强大的规则引擎，请查看 Tibco Business Events。它非常强大且容错，但绝对不是免费的。