存储单词关联的数据结构

Question

我试图通过分析句子来实现预测。考虑以下[相当无聊]的句子

Call ABC
Call ABC again
Call DEF

我希望上述句子的数据结构如下：

Call: (ABC, 2), (again, 1), (DEF, 1)
ABC: (Call, 2), (again, 1)
again: (Call, 1), (ABC, 1)
DEF: (Call, 1)

一般来说，Word：(Word_it_appears_with，Frequency)，...

请注意固有的此类数据中存在冗余。显然，如果Call下ABC的频率为2，则ABC下Call的频率为2。我该如何优化这个？

这个想法是在输入新句子时使用这些数据。例如，如果已输入 Call，从数据来看，很容易判断 ABC 更有可能出现在句子中，并将其作为第一个建议提供，接下来是再次和DEF。

我意识到这是实现预测的一百万种可能方法之一，并且我热切期待其他方法的建议。

谢谢

Answer 1

也许使用双向图。您可以将单词存储为节点，将边存储为频率。

Answer 2

您也可以使用以下数据结构：

Map<String, Map<String, Long>>

Answer 3

我会考虑以下两个选项之一：

选项 1：

class Freq {
    String otherWord;
    int freq;
}

Multimap<String, Freq> mymap;

或者可能是一个表

Table<String, String, int>

给定上述频率：您可能想要进行双向映射：

class Freq{
    String thisWord;
    int otherFreq;
    Freq otherWord;
}

这将允许非常快速地更新数据对。