Postgres 中字符串的词频？

Question

是否可以从 Postgres 中包含文本字符串的字段中识别不同的单词和每个单词的计数？

Answer 1

像这样的东西吗？

SELECT some_pk, 
       regexp_split_to_table(some_column, '\s') as word
FROM some_table

那么获取不同的单词很容易：

SELECT DISTINCT word
FROM ( 
  SELECT regexp_split_to_table(some_column, '\s') as word
  FROM some_table
) t

或者获取每个单词的计数：

SELECT word, count(*)
FROM ( 
  SELECT regexp_split_to_table(some_column, '\s') as word
  FROM some_table
) t
GROUP BY word

Answer 2

您还可以使用 PostgreSQL 文本搜索功能来实现此目的，例如：

SELECT * FROM ts_stat('SELECT to_tsvector(''hello dere hello hello ridiculous'')');

将产生：

  word   | ndoc | nentry 
---------+------+--------
 ridicul |    1 |      1
 hello   |    1 |      3
 dere    |    1 |      1
(3 rows)

（PostgreSQL 应用依赖于语言的词干提取和停用词删除，这可能是您想要的，也可能不是。停用词删除和词干提取可以通过使用 simple 而不是 english 字典来禁用，请参见下文。）

嵌套的 SELECT 语句可以是生成 tsvector 的任何 select 语句列，因此您可以替换一个函数，将 to_tsvector 函数应用于任意数量的文本字段，并将它们连接到文档的任何子集上的单个 tsvector 中，例如示例：

SELECT * FROM ts_stat('SELECT to_tsvector(''english'',title) || to_tsvector(''english'',body) from my_documents id < 500') ORDER BY nentry DESC;

将生成从前 500 个文档的 title 和 body 字段中获取的总字数矩阵，按出现次数降序排列。对于每个单词，您还将获得该单词出现的文档数量（ndoc 列）。

有关更多详细信息，请参阅文档： http://www.postgresql.org/docs/当前/static/textsearch.html

Answer 3

单词之间应该用空格 ' ' 或其他分隔符号分隔；不使用“s”，除非有意这样做，例如，将“myWordshere”视为“myWord”和“here”。

SELECT word, count(*)
FROM ( 
  SELECT regexp_split_to_table(some_column, ' ') as word
  FROM some_table
) t
GROUP BY word