降低数据集的粒度

Question

我有一个内存缓存，它通过一定程度的聚合来存储一组信息 - 在下面的学生示例中，假设我按年份、主题、教师存储它：

#    Students    Year    Subject    Teacher
1    30          7       Math       Mrs Smith
2    28          7       Math       Mr Cork
3    20          8       Math       Mrs Smith
4    20          8       English    Mr White
5    18          8       English    Mr Book
6    10          12      Math       Mrs Jones

现在不幸的是，我的缓存没有 GROUP BY 或类似的函数- 因此，当我想以更高的聚合级别查看事物时，我必须自己“汇总”数据。例如，如果我按年份、主题汇总学生，上述数据将如下所示：

#    Students    Year    Subject
1    58          7       Math
2    20          8       Math 
3    38          8       English
4    10          12      Math

我的问题是 - 我如何在 Java 中最好地做到这一点？理论上，我可以从该缓存中提取数以万计的对象，因此能够快速“汇总”这些集合可能变得非常重要。

我最初的（也许是天真的）想法是按照以下方式做一些事情；

直到我用尽记录列表：

• 我来的每一个“独特”记录 across 作为键添加到 哈希图。
• 如果我遇到这样的记录 对于这个新级别具有相同的数据 的聚合，将其数量添加到 现有的。

现在据我所知，这是一个相当普遍的问题，并且有更好的方法可以做到这一点。因此，我欢迎任何关于我是否为自己指明正确方向的反馈。

恐怕“获取新缓存”不是一个选项:)

-Dave。

Answer 1

你的“最初想法”并不是一个坏方法。改进它的唯一方法是为您聚合的字段（年份和主题）建立一个索引。 （这基本上就是 dbms 在定义索引时所做的事情。）然后您的算法可以被重新设计为迭代所有索引值；您不必检查每条记录的结果哈希。

当然，您必须在填充缓存时构建索引并在数据修改时维护​​它。