用 php & 替换文本中的关键字mysql

Question

我有一个新闻网站，其中包含超过 100 万条新闻的档案。 我创建了一个包含大约 3000 个条目的单词定义数据库，其中包含单词定义对。

我想做的是在新闻中每次出现这些词的旁边添加一个定义。 我无法进行静态更改，因为我每天都可以添加新关键字，因此我可以使其实时或缓存。

问题是，str_replace 或 preg_replace 在文本中搜索 3000 个关键字并替换它们会非常慢。

有没有快速的替代方案？

Answer 1

str_replace 不适用于您（除非您希望“superlative”中的“perl”成为关键字），您需要考虑单词边界的东西（例如 preg_replace 与 \b）。当然，你不能一次preg_replace所有3000个关键字，但一个文档很难包含所有这些关键字，因此我建议对所有文档进行预索引，例如维护一个索引表doc_id->word_id。在提供特定文档时，查询索引并仅替换文档实际包含的关键字（大概不超过 100 个）。

另一方面，如果文档很短，那么维护索引表可能就不值得了。您可以简单地即时进行预索引，例如使用 strpos：

 $kw = array();
 foreach($all_keywords as $k) if(strpos($text, $k)) $kw[] = $k;

 // $kw contains only words that actually occur in the text
 // (and perhaps some more, but that doesn't matter)

 preg_replace_callback('/\b(' . implode('|', $kw) . ')\b/',  'insert_keyword', $text)

Answer 2

str_replace 非常快速，据我所知，它是 PHP 中最快的。你当然应该保留一个缓存；这将绕过性能问题。

Answer 3

这只是一个加快流程、减少错误等的建议。

1. 创建一个对新闻档案进行批处理的函数。
2. 创建一个函数来替换文本。 str_replace 是我的赌注。
3. 创建一个函数来生成 php 进程。参考这个 thread
4. 添加缓存功能。