如何省略“THE”使用 PHP 和 MYSQL 进行搜索

Question

我正在为一个项目做一个“字母顺序搜索”模块。

也就是说它看起来像

ABCDEF 。 。 。 。 。 。 。 。 。 …… 。 。 。 。 。 …… 。 。 Z

当我单击“A”时，结果应按“A”排序。这对于所有字母都是一样的。

现在我的问题如下：

• 例如有一部名为“木乃伊”的电影。

• 我所做的是，当点击“ALPHABET T”时，相应的电影将被排序。

• 但我的客户要求是，当用户点击“M”而不是“T”时，《木乃伊》电影必须排序

• 因为“a、an、the”是“ARTICLES”并且它没有任何含义。

我希望现在每个人都能理解我的问题是什么......

任何帮助都将是值得赞赏和感激的。

提前致谢

Answer 1

假设您不希望修改表的内容（因此查询效率稍低），则以下操作应该可以解决问题。
（如果您确实有时间修改表格，请参阅本答案末尾的建议）

SELECT Title
FROM myTable
WHERE (Title LIKE 'x%' OR Title LIKE 'THE x%')
  -- AND Title NOT LIKE 'THE [^T]%'   
ORDER BY Title

注释：
- x 指定所需的字母（例如：LIKE 'A%' 等）
- 仅当“X”是字母“T”时才需要“AND TITLE NOT LIKE”额外条件（否则功能是多余的，但不会改变结果）
- 我不确定是否支持 [^xyz]（即 NOT 字符 x、y 或 z），因此 [^T]< /code> 可以替换为它的正等价物，例如 [A-RS-Z0-9]。

还有一些其他停用词需要考虑（“A”、“AN”、“OF”...），但对于书籍或电影标题，通常的做法是仅考虑“THE”。如果您必须处理其他文章，则可以将逻辑扩展为：

SELECT Title
FROM myTable
WHERE (Title LIKE 'x%' 
    OR Title LIKE 'THE x%' 
    OR Title LIKE 'A x%' 
    OR Title LIKE 'AN x%') 
 -- the following is only needed when "x" is either the letter T or A.
 -- AND (Title NOT LIKE 'THE [^T]%' 
 --      AND Title NOT LIKE 'A [^A]%' 
 --      AND Title NOT LIKE 'AN [^A]%'
 --  )
ORDER BY Title

---

如果您可以修改表格的内容，还有更好的解决方案。其中一些意味着预先计算一个或多个额外的列（并在添加新记录等时维护它/这些）。

• 例如，请参阅本文中 Cletus 的回答，了解“sort_column”方法，其中额外的列列包含的标题已去除任何不需要的主要干扰词。除了作为 OP 首字母搜索问题中的过滤字段之外，此列还可以用于以更友好/合理的方式对由与首字母无关的过滤器生成的标题列表进行排序和/或标题的开头（例如按年份搜索）。
• 上述的一种变体是仅存储“有效”的首字母（经过不需要的噪音的字母），从而形成一个较小的列，但用途也较差。
• 标题列本身可以更新，存储标题的修改形式，从而将无关的前导干扰词移动到括号之间的字符串末尾。这种做法在书目类型目录中很常见。

Answer 2

您在这里真正要问的是如何删除“停用词”（“the”只是一个例子；您需要删除“of”、“a”等）。尝试对停用词集进行硬编码是一件非常痛苦的事情，并且随着语料库的变化，您将不得不更改代码。

相反，您应该尝试使用一种算法来根据您的语料库推断出停用词。执行此类操作的算法是众所周知的，并且被搜索引擎所采用。效果很好的一种称为 TF/IDF

Answer 3

基本上你是如何做到这一点的，你有一个额外的列用于排序。如果您有一个包含 name 列的 movie 表，请添加另一个名为 sort_name 的列。其中应包含小写的电影标题，并删除前面要忽略的所有单词（例如“the”、“a”）。

不要尝试动态地执行此操作。

当字段更新时，您还必须更新 sort_name 列。您可以随时重建它，当然您必须对其建立索引。然后只需执行以下操作：

SELECT *
FROM movies
WHERE sort_name LIKE 'a%'