在 SQL 中查找相似值的高性能技术？

Question

因此，我在表中有一列包含字符串值（从第三方工具填充的关键字）。 我正在开发一种自动化工具来识别相似值的集群，这些相似值可能会标准化为单个值。 例如，“Firemen”/“Fireman”、“Isotope”/“Asotope”或“Canine”/“Canines”。

计算编辑距离的方法似乎很理想，除了它涉及太多字符串操作/比较并且可能无法充分利用 SQL 索引这一事实。

我考虑过按列的 Left(X) 字符进行增量分组，这是最大化索引使用的一种不错的方法，但这种方法实际上只在查找单词末尾有差异的单词时有效。

有人有一些在 SQL 中有效解决这个问题的好主意吗？

注意：我意识到这个问题非常类似于 (查找两个字符串的相似程度)，但这里的区别是需要在 SQL 中有效地完成此操作。

Answer 1

您没有提及您使用的数据库，但如果是 T-SQL，您可以使用 SOUNDEX 值和差异。

Answer 2

如果您使用 SQL Server，您可能会考虑使用 SOUNDEX() 函数，如下所示：

...
where
   SOUNDEX("searchterm") = SOUNDEX(searchvaluefield)

它应该对字符串进行语音匹配...

一些奇怪的例子...所以看来您可以通过始终附加来捕获复数形式两边都有复数文本，因为多个 ' 的声音相同......:-)

select soundex('Canine'), soundex('Canines')
go

----- ----- 
C550  C552  

1 Row(s) affected


select soundex('Canine'), soundex('Caynyn')
go

----- ----- 
C550  C550  

1 Row(s) affected


select soundex('Canines'), soundex('Caniness')
go

----- ----- 
C552  C552  

1 Row(s) affected

Answer 3

约翰，如果您使用的是 MS SQL Server，您可以利用 全文索引服务。 全文搜索功能具有一些强大的功能，您可以使用它们来实现这。