如何用 C# 编写解析器？

Question

Closed. This question needs to be more focused. It is not currently accepting answers.

---

想要改进这个问题？通过编辑这篇文章来更新问题，使其仅关注一个问题。

9 年前已关闭。

Answer 1

我已经用 C# 实现了几个解析器 - 手写的和工具生成的。

关于解析的一个非常好的入门教程是 让我们构建一个编译器 - 它演示了如何构建递归下降解析器；对于任何有能力的开发人员来说，这些概念很容易从他的语言（我认为是 Pascal）翻译成 C#。这将教您递归下降解析器如何工作，但是手动编写完整的编程语言解析器是完全不切实际的。

如果您决定编写经典递归下降解析器<，您应该研究一些工具来为您生成代码/a> (TinyPG, Coco/R，TDOP解析或Monadic解析）。

关于 C# 是否适合这项任务的主题 - C# 拥有一些最好的文本库。今天的许多解析器（在其他语言中）都有大量的代码来处理 Unicode 等。我不会对 JITted 代码发表太多评论，因为它可能变得非常宗教 - 不过你应该没问题。 IronJS 是 CLR 上的解析器/运行时（即使它是用 F# 编写的）及其性能的一个很好的示例只比 Google V8 差一点点。

旁注：与语言解析器相比，标记解析器是完全不同的野兽 - 在大多数情况下，它们是手工编写的 - 并且在扫描器/解析器级别非常简单；它们通常不是递归下降 - 特别是在 XML 的情况下，最好不要编写递归下降解析器（以避免堆栈溢出，并且因为“平面”解析器可以在 SAX/push 模式下使用）。

Answer 2

Sprache 是一个强大而轻量级的框架，用于在 .NET 中编写解析器。还有一个 Sprache NuGet 包。为了让您了解这里的框架，我们提供了示例之一< /a> 可以将简单的算术表达式解析为 .NET 表达式树。我想说真是太棒了。

using System;
using System.Linq.Expressions;
using Sprache;

namespace LinqyCalculator
{
    static class ExpressionParser
    {
        public static Expression<Func<decimal>> ParseExpression(string text)
        {
            return Lambda.Parse(text);
        }

        static Parser<ExpressionType> Operator(string op, ExpressionType opType)
        {
            return Parse.String(op).Token().Return(opType);
        }

        static readonly Parser<ExpressionType> Add = Operator("+", ExpressionType.AddChecked);
        static readonly Parser<ExpressionType> Subtract = Operator("-", ExpressionType.SubtractChecked);
        static readonly Parser<ExpressionType> Multiply = Operator("*", ExpressionType.MultiplyChecked);
        static readonly Parser<ExpressionType> Divide = Operator("/", ExpressionType.Divide);

        static readonly Parser<Expression> Constant =
            (from d in Parse.Decimal.Token()
             select (Expression)Expression.Constant(decimal.Parse(d))).Named("number");

        static readonly Parser<Expression> Factor =
            ((from lparen in Parse.Char('(')
              from expr in Parse.Ref(() => Expr)
              from rparen in Parse.Char(')')
              select expr).Named("expression")
             .XOr(Constant)).Token();

        static readonly Parser<Expression> Term = Parse.ChainOperator(Multiply.Or(Divide), Factor, Expression.MakeBinary);

        static readonly Parser<Expression> Expr = Parse.ChainOperator(Add.Or(Subtract), Term, Expression.MakeBinary);

        static readonly Parser<Expression<Func<decimal>>> Lambda =
            Expr.End().Select(body => Expression.Lambda<Func<decimal>>(body));
    }
}

Answer 3

C# 几乎是一种不错的函数式语言，因此在其中实现 Parsec 之类的东西并不是什么大不了的事情。以下是如何执行此操作的示例之一： http://jparsec.codehaus.org/NParsec+Tutorial

还可以实现基于组合器的 Packrat ，在一个非常相似的方式，但这次在某处保留全局解析状态，而不是执行纯函数式的操作。在我的（非常基本和临时的）实现中，它相当快，但是当然像 这样的代码生成器这一定表现得更好。

Answer 4

我知道我有点晚了，但我刚刚发布了一个名为 Ve Parser 的解析器/语法/AST 生成器库。您可以在 http://veparser.codeplex.com 找到它，或者通过输入“Install-Package”将其添加到您的项目中veparser' 在包管理器控制台中。该库是一种递归下降解析器，旨在易于使用且灵活。由于您可以获得其源代码，因此您可以从其源代码中学习。我希望它有帮助。

Answer 5

在我看来，有一种比传统方法更好的方法来实现解析器，它可以使代码更简单、更容易理解，尤其是通过在一个非常对象中插入一个新类，可以更轻松地扩展您正在解析的任何语言 -导向的方式。我写的一个较大系列的一篇文章重点介绍了这种解析方法，并且包含 C# 2.0 解析器的完整源代码：
http://www.codeproject.com/Articles /492466/面向对象解析打破传统-Pa

Answer 6

嗯...从哪里开始...

首先，编写一个解析器，这是一个非常广泛的陈述，特别是对于您提出的问题。

您的开场白是您想要一个简单的算术“解析器”，从技术上讲，这不是解析器，而是词法分析器，类似于您可能用于创建新语言的分析器。 （ http://en.wikipedia.org/wiki/Lexical_analysis ）我确切地理解混淆它们可能是同一件事。需要注意的是，如果您也打算编写语言/脚本解析器，那么词法分析也是您想要理解的，这严格来说不是解析，因为您正在解释指令而不是使用它们。

回到解析问题......

如果您采用严格定义的文件结构来从中提取信息，这就是您将要做的事情。

一般来说，您实际上不必为 XML / HTML 编写解析器，因为它们已经有很多了，如果您解析 .NET 运行时生成的 XML，那么您甚至不需要解析，你只需要“序列化”和“反序列化”。

然而，出于学习的目的，在大多数情况下解析 XML（或任何类似的内容，如 html）是非常简单的。

如果我们从以下 XML 开始：

    <movies>
      <movie id="1">
        <name>Tron</name>
      </movie>
      <movie id="2">
        <name>Tron Legacy</name>
      </movie>
    <movies>

我们可以将数据加载到 XElement 中，如下所示：

    XElement myXML = XElement.Load("mymovies.xml");

然后您可以使用 'myXML.Root' 获取 'movies' 根元素

然而，更有趣的是，您可以使用 Linq 轻松获取嵌套标签：

    var myElements = from p in myXML.Root.Elements("movie")
                     select p;

将为您提供一个 XElements var，每个 XElements 包含一个“...”，您可以使用以下内容获得它：

    foreach(var v in myElements)
    {
      Console.WriteLine(string.Format("ID {0} = {1}",(int)v.Attributes["id"],(string)v.Element("movie"));
    }

对于除 XML 之类的数据结构之外的任何其他内容，则恐怕你会有要开始学习正则表达式的艺术，像“正则表达式教练”这样的工具将为您提供巨大的帮助（http:// weitz.de/regex-coach/ ）或更新的类似工具之一。

您还需要熟悉 .NET 正则表达式对象，( http:// www.codeproject.com/KB/dotnet/regextutorial.aspx ）应该会给您一个良好的开端。

一旦您了解了 reg-ex 的工作原理，那么在大多数情况下，这就是一个简单的案例，一次一行地读取文件，并使用您觉得舒服的方法来理解它们。

您可以在 ( http://www.wotsit.org/ 找到几乎所有您能想到的文件格式的良好免费来源)

Answer 7

根据记录，我在 C# 中实现了解析器生成器，只是因为我找不到任何正常工作或类似于 YACC 的东西（请参阅： http://sourceforge.net/projects/naivelangtools/）。

然而，在获得了 ANTLR 的一些经验后，我决定使用 LALR 而不是 LL。我知道理论上 LL 更容易实现（生成器或解析器），但我根本无法忍受表达式堆栈只是为了表达运算符的优先级（例如 * 在 + 之前） “2+5*3”）。在 LL 中，你说 mult_expr 嵌入在 add_expr 中，这对我来说似乎不自然。