动态文本模式检测算法？

Question

我想知道是否存在这样的算法。我有一堆文本文档，并且希望在所有这些文档中找到一个模式（如果存在模式）。请注意，我并不是试图对文档进行分类，我想做的只是找到一个模式（如果某些文档中存在该模式）。谢谢！

Answer 1

现在的问题有点模糊......你需要知道你在寻找什么才能找到它。
一些可能有用的想法 -

1. 分别获取每个文档的 n-gram 计数（n = 1,2,3,4），然后比较文档中每个 ngram 的频率。这应该可以帮助您找到所有文档中常见的短语。
2. 获取词性标注器将所有文档转换为 POS 标签流，然后执行与 1 相同的操作
3. 使用 PCFG 软件（例如斯坦福解析器）获取所有文档中所有句子的解析树，然后尝试找出不同文档的句子结构分布的相似程度。