许多文章的单词列表 - 文档术语矩阵

Question

我有近 15 万篇土耳其语文章。我将使用文章进行自然语言处理研究。 我想在处理文章后存储每篇文章的单词和频率。

我现在将它们存储在 RDBS 中。

我有 3 个表：

文章 ->文章 ID，文本
词-> word_id、类型、单词
词条-> id，word_id，article_id，频率（word_id的索引，article_id的索引）

我将查询

• 一篇文章中的所有单词
• 一个单词每篇文章的频率
• 所有文章中的单词出现次数以及

我在单词-文章表中拥有数百万行的文章。我在这个项目中一直使用 RDBS。开始用mysql，现在用oracle。但我不想使用oracle，想要比mysql更好的性能。

另外，我必须在具有 4GB 内存的机器上处理这项工作。
简单来说，如何存储文档术语矩阵并对其进行查询？性能是必要的。 “键值数据库”在性能上能打败mysql吗？或者什么可以打败mysql？

如果你的答案取决于编程语言，我正在用 python 编写代码。但是C/C++、Java就可以了。

Answer 1

也许查看 lucene （或 Zend_Search_Lucene 在 php 中）。这是非常好的 FTS 引擎。

Answer 2

对于 15 万篇文章，words_articles 表中必须有几亿行。只要正确配置 MySQL，这是可以管理的。

一些提示：

• 确保您的表是 MyISAM，而不是 InnoDB。

• 删除words_articles表中的id字段并将(word_id,article_id)作为主键。另外，在words_articles表中为word_id和article_id创建单独的索引：

  更改表words_articles
  删除主键，
  添加主键（word_id，article_id），
  添加索引（word_id），
  添加索引（article_id）；
  

  （在单个 alter 语句中执行所有操作可提供更好的性能）。

• 为单词表中的单词创建索引：

  ALTER TABLE 单词 ADD INDEX (单词);
  

• 调整 my.cnf。具体来说，增加缓冲区大小（尤其是 key_buffer_size）。 my-huge.cnf 可能是一个很好的起点。