提高全文搜索性能

Question

我有一个 MySQL 数据库，其中有一个包含 2000 万行的表。我希望能够对其中一个 varchar(255) 列进行自由文本搜索。所有这些值的长度总和为 6000 万个字符。目前要做一个查询，例如：

select value from table1 where match( value ) against( 'history' ) ;

需要二十到三十秒。要在一秒或更短的时间内完成此类查询需要什么？

目前它正在 VPS 上运行。我应该考虑使用什么硬件/软件来将搜索时间缩短到 1 秒或更短。

Answer 1

我完全同意斯坦尼斯拉夫的观点。我认为任何外部搜索引擎，如 http://lucene.apache.org/ 或 http://sphinxsearch.com/ 对于您提到的集合大小会更快。

对于 Sphinx 速成课程，我建议从 http://astellar.com/2011/12/replacing-mysql-full-text-search-with-sphinx/

在您的情况下，我会在提到的基本设置中添加一些内容。

在源配置中使用范围查询来降低 MySQL 的压力，同时索引并使用开始/结束模板扩展 sql_query：

source my_source
{
  ...
  sql_query_range = SELECT MIN(id), MAX(id) FROM table
  sql_range_step  = 1000
  ...
  sql_query  = SELECT id, ... FROM table WHERE id>=$start AND id <= $end
  ...
}

这将告诉 Sphinx 每个 MySQL 查询最多获取 1000 个文档，而不是一次表中的所有记录。如果您有超过 1M 的记录，则必须有此选项。

在你的情况下，取决于盒子上的内存量，我还会将索引器的 mem_limit 增加到 512M..1024M，这样索引会工作得更快。

当您使用 Sphinx 时，您可能希望将一些查询从 MySQL 移至 Sphinx 端，并向 Sphinx 索引添加非完整文本字段以执行基于地理距离的搜索或分面搜索，如 http://sphinxsearch.com/docs/current.html#attributes

Answer 2

Mysql 内置了全文搜索，但功能相当有限。

我建议使用专门的全文搜索引擎，最简单且对 mysql 友好的是 sphinx - http://sphinxsearch.com/< /a>.它有很多用于任何平台/语言的库来创建和管理索引。

分离的搜索引擎将允许您避免在如此大的集合上缓慢插入，因为每次插入时都会更新索引。