字符串到标记序列

Question

我正在解析命令序列字符串，需要将每个字符串转换为一个 string[]，该字符串将按照读取的顺序包含命令标记。

原因是这些序列存储在数据库中，以指示协议客户端为各个远程应用程序执行特定的规定序列。这些字符串中有一些特殊的标记，我需要将它们自己添加到 string[] 中，因为它们不代表正在传输的数据；相反，它们表示阻塞暂停。

序列不包含分隔符。在命令序列中的任何位置都可以找到任意数量的特殊标记，这就是为什么我不能简单地使用正则表达式解析字符串。此外，序列中的所有这些特殊命令都用 ${} 包装，

是我需要解析为令牌的数据示例（P1 表示阻塞暂停一秒钟）：

"some data to transmit${P1}more data here"

这 像这样：

{ "some data to transmit", "${P1}", "more data here" }

我认为 LINQ 可以帮助解决这个问题，但我不太确定。我能想到的唯一解决方案是循环遍历每个字符，直到找到 $ ，然后检测特殊的暂停命令是否可用，然后使用索引从那里解析序列。

Answer 1

一种选择是使用 Regex.Split(str, @"(\${.*?})") 并忽略当两个特殊标记彼此相邻时得到的空字符串。

也许 Regex.Split(str, @"(\${.*?})").Where(s => s != "") 就是您想要的。

Answer 2

好吧，正如评论中提到的，我建议您阅读词法分析器。他们有能力做你所描述的一切事情，甚至更多。

由于您的要求如此简单，所以我想说手工编写词法分析器并不太困难。这是一些可以做到这一点的伪代码。

IEnumerable<string> tokenize(string str) {

    var result = new List<string>();
    int pos = -1;
    int state = 0;
    int temp = -1;

    while( ++pos < str.Length ) {
        switch(state) {
            case 0:
                if( str[pos] == "$" ) { state = 1; temp = pos; }
                break;
            case 1:
                if( str[pos] == "{" ) { state = 2; } else { state = 0; }
                break;
            case 2:
                if( str[pos] == "}" } {
                    state = 0;
                    result.Add( str.Substring(0, temp) );
                    result.Add( str.Substring(temp, pos) );
                    str = str.Substring(pos);
                    pos = -1;
                }
                break;
            }
    }

    if( str != "" ) {
        result.Add(str);
    }

    return result;
}

或者类似的东西。我通常在第一次尝试时就会得到 Substring 的参数错误，但这是一般的想法。

您可以使用 ANTLR 之类的东西来获得更强大（并且更易于阅读）的词法分析器。

Answer 3

根据 Gabe 的一点建议，我想出了一个解决方案，它完全符合我的要求：

string tokenPattern = @"(\${\w{1,4}})";
string cmdSequence = "${P}test${P}${P}test${P}${Cr}";

string[] tokenized = (from token in Regex.Split(cmdSequence, tokenPattern)
                      where token != string.Empty
                      select token).ToArray();

使用上面示例中的命令序列，数组包含以下内容：

{ "${P}", "test", "${P}", "${P}", "test", "${P}", "${Cr}"}