用于以数据库表格格式计算频率的数据结构

Question

我想知道是否有一种数据结构经过优化，可以针对以数据库表格式存储的数据计算频率。例如，数据采用下面的（逗号）分隔格式。

col1, col2, col3
x, a, green
x, b, blue
...
y, c, green

现在我只想计算 col1=x 或 col1=x 和 col2=green 的频率。我一直将数据存储在数据库表中，但在我的分析和经验观察中，数据库连接是瓶颈。我也尝试过使用内存数据库解决方案，效果很好；唯一的问题是内存需求和奇怪的初始化/销毁调用。

另外，我主要使用java，但有使用.net的经验，并且想知道是否有任何api可以使用java以linq方式处理“表格”数据。

任何帮助表示赞赏。

Answer 1

嵌套的 TreeMap 怎么样？例如，假设您有以下记录：

col1=v, col2=v2
col1=v, col2=v3

您希望能够查询结构并询问“col1 具有值 v 多少次？”

我将使用以下代码将值插入到结构中：

TreeMap tm = new TreeMap();
//the map hasn't seen this column name yet
if(!tm.containsKey(columnName)){
    //mark the column value as being seen once
    tm.put(columnName, (new TreeMap()).put(colVal, 1));
}else{
    //the map has seen the column name.
    TreeMap valueMap = tm.get(columnName);
    if(valueMap.containsKey(colVal)){
        //we've seen this column value before.
        //Increment the number of times we've seen it
        int valCount = valueMap.get(colVal);
        valueMp.put(colVal, valCount++);
    }else{
        //we've have not seen this column value before.
        valueMap.put(colVal, 1);
    }
}

Answer 2

有一个 Multiset 数据结构可以为您跟踪频率。以下是使用该数据结构的示例代码（来自 google-guava）。

void frequencyCounter()
{
    Multiset<String> counter = HashMultiset.create();

    counter.add("col1" + "=" + "x");
    counter.add("col2" + "=" + "x");
    counter.add("col2" + "=" + "x");

    System.out.println("how many times did col2 have the value x?");
    System.out.println(counter.count("col2" + "=" + "x"));
}

需要注意的点。

• 我正在连接列名称
  (col1) 及其值 (x)（=）为
  添加到时的分隔符
  Multiset
• 我正在重复相同的过程
  检查频率 a
  给定列中的特定值