“压缩”词对（不定式和屈折变化）

Question

我有一个包含单词及其变形形式的大型数据库，例如：

BASIC_FORM ##### INFLECED_FORM

talk ----- talk
talk ----- talking
talk ----- talked
talk ----- talks
paragraph ----- paragraph
paragraph ----- paragraphs
...

这个数据库需要大量磁盘空间，当然，只要它有 100 万个或更多条目。

“压缩”该数据集的最佳方法是什么，即在不丢失信息的情况下减少所需的磁盘空间量？

我的第一个想法是创建一个额外的列来保存字符数可以从基本表格的开头复制。然后你只需要保存变形形式不同的部分，例如：

BASIC_FORM ##### NUM_EQUAL ##### INFLECED_FORM

talk ----- 4 ----- 
talk ----- 4 ----- ing
talk ----- 4 ----- ed
talk ----- 4 ----- s
try ----- 3 ----- 
try ----- 2 ----- ied
paragraph ----- 9 ----- 
paragraph ----- 9 ----- s
...

这应该节省一些磁盘空间，因为“NUM_EQUAL”可以在MySQL中保存为TINYINT（例如），所以它只需要1个字节并且在字符串中“INFLECTED_FORM”通常会保存超过1个字符（即超过1个字节）。

您还有其他节省磁盘空间的建议吗？

Answer 1

您应该规范化模型。这意味着，为 basic_form 创建一个单独的表。我不确定你会节省多少空间，因为这样将取决于数据（你的单词越长，词形变化越多，你节省的空间就越多）。但是，假设每个单词只有一个单词和一个变形单词（我知道情况并非如此，但让我们把它推向极端），那么拥有两个表会增加所需的存储空间。

现在，在应用之前的重构之后（这也会为您省去一些麻烦，就像规范化总是做的那样！）您还可以应用您的系统来减少存储指令所需的大小。

Answer 2

为什么不创建两个表，例如：

BasicForm
  id
  word

InflectedForm
  id
  basicFormId
  inflectedWord

这样，您就可以删除通过为每个词形变化重复单词的基本版本而创建的所有重复项。

Answer 3

有几个框架需要变形功能才能在构建模型文件时创建对象名称，并且它们工作得很好。我使用的是 CakePHP 的 Inflector 类。

大概是这样的：

public static function inflect($rootString, $howMany)
{
    return ((int) $howMany > 1) ? Cake_Inflector::pluralize($rootString) : Cake_Inflector::singularize($rootString);
}

有可能，如果有一些不寻常的东西你需要改变，并且它不是内置的，你可以通过扩展类来添加它，但希望它向你展示什么是可能的，而不是增加数据库。