给定一串单词：如何在忽略标点符号的情况下查找 MySQL 中 varchar(1000) 列中的每个单词（不区分大小写）？

Question

我有两个数据库 a 和 b ，其中包含科学论文的标题。我想将这些数据库合并到一个数据库c。

• a 可能包含 b 中没有的标题，反之亦然。
• 标题可能同时存在于数据库 a 和 b 中。
• 字母和标点符号的大小写可能不匹配：
  • “这是一个标题。” VS。 “这是一个标题”
  • “这是——又一个——标题。” VS。 “这是另一个标题”
  • “基于 bla 的 k 均值算法。” VS“基于bla的k均值算法”

首先，我想到使用 MySQL 内部的 levenstein 距离函数来匹配两个数据库中的相同标题，但查看数百万行，我不知道这是否会表现得足够好。然后我想到了全文搜索来匹配标题，但据我所知，全文搜索与常见单词不匹配，因此匹配在实际上不同的相似标题上表现不佳。

因此，我不需要 100% 的匹配过程。但我希望利率尽可能高。有什么建议吗？

Answer 1

我想到的一个想法是创建一个搜索列，其中包含不带任何标点符号且小写的文本，并进行比较。

如果您使用与 mySQL 相关的其他语言或平台，那么在那里进行规范化可能是最简单的 - 我想不出本地 mySQL 函数可以去除标点符号等。这当然是可能的，但可能只能使用一组极其复杂的 REPLACE() 调用。