Sphinx 中的重音不敏感排序

Question

我正在使用 Sphinx 和 Thinking Sphinx 插件来搜索我的数据。 我正在使用MySQL。

我的数据包含重音字符（“á”、“é”、“ã”），并且我希望它们在搜索和搜索时等同于非重音字符（例如“a”、“e”、“a”）订购。

我使用字符集表 (pastie.org/204316) 进行搜索，搜索“AGUA”返回“ÁGUA”，但结果的排序无法正常工作。 例如，在搜索“AGUA”时，“ÁGUA”出现在“MUITA ÁGUA”之后，但我希望将其排序为用“A”而不是“Á”编写。

我能想到的唯一解决方案是索引一个包含非重音字符的新列，并使用它进行排序，使用 REPLACE (http://dev.mysql.com/doc/refman/5.4/en/string-functions.html#function_replace) mysql 函数去除重音符号字符，但我需要对每个可能的重音字符（而且有很多）调用 REPLACE 一次，在我看来，这是一种不太可维护的解决方法。

有人知道处理这个问题的更好方法吗？

谢谢！

Answer 1

Sphinx 通过将所有值存储在列表中，对列表进行排序，然后将每个字符串的索引存储为 int 属性来处理字符串字段的排序。 根据文档，此列表的排序是在字节级别完成的，目前不可配置。

理想情况下，字符串应根据编码和区域设置进行不同的排序。 例如，如果已知字符串是 KOI8R 编码中的俄语文本，则对字节 0xE0、0xE1 和 0xE2 进行排序应产生 0xE1、0xE2 和 0xE0，因为在 KOI8R 值 0xE0 中编码的字符（明显）在由0xE1 和 0xE2。 不幸的是，Sphinx 目前不支持这一点，只会按字节对字符串进行排序。

-- 来自 http://www.sphinxsearch.com/docs/current.html

因此，在 Sphinx 中没有简单的方法可以实现这一点。 对基于 REPLACE() 的想法的修改是拥有一个单独的列并使用模型中的回调来填充它。 这将使您能够在 Ruby 而不是 MySQL 中处理替换，这可以说是更易于维护的解决方案。

# save an unaccented copy of your title. Normalise method borrowed from
# http://stackoverflow.com/questions/522715/removing-accents-diacritics-from-string-while-preserving-other-special-chars-tri
class MyModel < ActiveRecord::Base
  before_validation :update_sort_col

  private

  def update_sort_col
    sort_col = self.title.to_s.mb_chars.normalize(:kd).gsub(/[^-x00-\x7F]/n, '').to_s
  end
end

Answer 2

您还可以使用特殊索引，因为您甚至不需要在数据库

indexes "LOWER(title)", :as => :title,  :sortable => true

及其原始 SQL 上添加新列，因此您可以调用替换方法。

Answer 3

只需使用以下语法在小写版本上构建索引即可。 这是使用 Sphinx 进行不区分大小写搜索的非常简单而优雅的解决方案。

indexes title, as: :title, sortable: :insensitive