具有自然语言上下文的字符串分块算法

Question

我有一个来自用户的任意大的文本字符串，需要将其分成 10k 块（可能是可调整的值）并发送到另一个系统进行处理。

• 块不能长于 10k（或其他任意值）
• 文本应该根据自然语言上下文进行分解
  • 尽可能按标点符号拆分
  • 如果不存在标点符号，则按空格分割
  • 断言是最后的手段

我试图不重新发明轮子，在我从头开始之前有什么建议吗？

使用 C#。

Answer 1

这可能无法满足您需要的所有情况，但它应该可以帮助您上路。

    public IList<string> ChunkifyText(string bigString, int maxSize, char[] punctuation)
    {
        List<string> results = new List<string>();

        string chunk;
        int startIndex = 0;

        while (startIndex < bigString.Length)
        {
            if (startIndex + maxSize + 1 > bigString.Length)
                chunk = bigString.Substring(startIndex);
            else
                chunk = bigString.Substring(startIndex, maxSize);

            int endIndex = chunk.LastIndexOfAny(punctuation);

            if (endIndex < 0)
                endIndex = chunk.LastIndexOf(" ");

            if (endIndex < 0)
                endIndex = Math.Min(maxSize - 1, chunk.Length - 1);

            results.Add(chunk.Substring(0, endIndex + 1));

            startIndex += endIndex + 1;
        }

        return results;
    }

Answer 2

我确信这最终可能会比您预期的更困难（大多数自然语言的事情），但是请查看 Sharp 自然语言解析器。

我目前正在使用 SharpNLP，它运行得很好，但总是有“问题”。

如果这不是您要找的，请告诉我。

标记