F# 如何标记用户输入：分隔数字、单位、单词？

Question

我对 F# 相当陌生，但最近几周一直在阅读参考资料。我希望处理用户提供的输入字符串，识别并分隔组成元素。例如，对于此输入：

XYZ 酒店：6 晚 220 欧元/晚 加 17.5% 税

输出应该类似于元组列表：

[（“XYZ”，字）； （“酒店：”，Word）；
（“6”，数字）； （“夜晚”，Word）；
（“at”，操作员）； （“220”，数字）；
（“欧元”，货币代码）； （“/”， 操作员）; （“夜晚”，词）；
（“加号”，运算符）； （“17.5”， 数字）; （“%”，百分比）； （“税”， 字）]

由于我正在处理用户输入，因此它可以是任何内容。因此，期望用户遵守语法是不可能的。我想识别数字（可以是整数、浮点数、负数...）、测量单位（可选，但可以包括 SI 或英制物理单位、货币代码、计数，例如我的示例中的“night/s”） 、数学运算符（作为数学符号或作为单词，包括“at”、“per”、“of”、“discount”等）以及所有其他单词。

我的印象是我应该使用主动模式匹配——这是正确的吗？ ——但我不太确定如何开始。任何指向适当的参考材料或类似示例的指针都会很棒。

Answer 1

我使用 FParsec 库整理了一个示例。该示例一点也不健壮，但它很好地展示了如何使用 FParsec。

type Element =
| Word of string
| Number of string
| Operator of string
| CurrencyCode of string
| PerCent  of string    

let parsePerCent state =
    (parse {
        let! r = pstring "%"
        return PerCent r
    }) state

let currencyCodes = [|
    pstring "EUR"
|]

let parseCurrencyCode state =
    (parse {
        let! r = choice currencyCodes
        return CurrencyCode r
    }) state

let operators = [|
    pstring "at"
    pstring "/"
|]

let parseOperator state =
    (parse {
        let! r = choice operators
        return Operator r
    }) state

let parseNumber state =
    (parse {
        let! e1 = many1Chars digit
        let! r = opt (pchar '.')
        let! e2 = manyChars digit
        return Number (e1 + (if r.IsSome then "." else "") + e2)
    }) state

let parseWord state =
    (parse {
        let! r = many1Chars (letter <|> pchar ':')
        return Word r
    }) state

let elements = [| 
    parseOperator
    parseCurrencyCode
    parseWord
    parseNumber 
    parsePerCent
|]

let parseElement state =
    (parse {
        do! spaces
        let! r = choice elements
        do! spaces
        return r
    }) state

let parseElements state =
    manyTill parseElement eof state

let parse (input:string) =
    let result = run parseElements input 
    match result with
    | Success (v, _, _) -> v
    | Failure (m, _, _) -> failwith m

Answer 2

听起来你真正想要的只是一个词法分析器。 FSParsec 的一个很好的替代方案是 FSLex。 （很好的介绍教程，虽然有点过时，可以在我的旧博客 此处。）使用 FSLex，您可以获取输入文本：

XYZ Hotel: 6 nights at 220EUR / night plus 17.5% tax

并将其正确标记为：

 [ Word("XYZ"); Hotel; Int(6); Word("nights"); Word("at"); Int(220); EUR; ... ]

一旦您有了标记列表，下一步就是进行某种形式的模式匹配/ 分析以提取语义信息（我认为这就是您真正想要的）。使用规范化的令牌流，它应该像这样简单：

let rec processTokenList tokens = 
    match tokens with
    | Float(x) :: Keyword("EUR") :: rest  -> // Dollar amount x
    | Word(x) :: Keyword("Hotel") :: rest -> // Hotel x
    | hd :: rest -> // Couldn't find anything interesting...
                    processTokenList rest

这至少应该让您开始。但请注意，随着您的输入变得更加“正式”，您的词法分析的有用性也会变得更加“正式”。 （如果您只接受非常具体的输入，那么您可以使用适当的解析器并完成它！）