你会如何解析 Markdown？

Question

编辑：我最近了解了一个名为 CommonMark 的项目，该项目 正确识别并处理原文中的歧义 降价规范。 http://commonmark.org/ 它有很棒的 C# 库 支持。

您可以在此处找到语法。

下载后的源代码是用 Perl 编写的，我无意尊重它。 它充满了正则表达式，并且依赖 MD5 哈希来转义某些字符。 这件事有些不对劲！

我即将为 Markdown 硬编码一个解析器。 这方面有什么经验？

如果你对 Markdown 的实际解析没有任何有意义的话可说，请饶过我。 （这可能听起来很刺耳，但是是的，我正在寻找洞察力，而不是解决方案，即第三方库）。

为了帮助您找到答案，正则表达式旨在识别模式！ 不要解析整个语法。 人们认为这样做是foobar。

• 如果您考虑一下 Markdown，它基本上是基于段落的概念。
• 因此，合理的方法可能是将输入分成段落。
• 段落有很多种，例如标题、文本、列表、块引用和代码。
• 因此，挑战在于识别这些段落以及它们出现的背景。

一旦我发现它值得分享，我会带着解决方案回来。

Answer 1

我所知道的唯一使用实际解析器的 Markdown 实现是 Jon MacFarleane 的 peg-markdown。 其解析器基于解析表达式语法 解析器生成器称为 挂钩。

---

编辑：Mauricio Fernandez 最近发布了他的简单标记 Markdown 解析器，他作为 OcsiBlog 博客引擎。 因为解析器是用 OCaml 编写的，所以它极其简单且简短（268 SLOC对于 解析器，HTML 发射器)，但 速度极快（比 折扣（用手工优化的 C 编写）并且比 六百倍href="http://Deveiate.Org/projects/BlueCloth/" rel="noreferrer">BlueCloth ( Ruby))，尽管事实上它甚至还没有针对性能进行优化。 由于它仅供 Mauricio 本人内部博客使用，因此与 官方 Markdown 存在一些偏差规范，但 Mauricio 创建了一个可以恢复大部分更改的分支。

Answer 2

上周我发布了一个新的基于解析器的 Markdown Java 实现，名为 pegdown。
pegdown 使用 PEG 解析器首先构建抽象语法树，随后将其写入 HTML。 因此，它比基于正则表达式的方法非常干净，并且更容易阅读、维护和扩展。
PEG 语法基于 John MacFarlanes C 实现“peg-markdown”。

也许有你感兴趣的东西......

Answer 3

如果我要尝试解析 markdown （及其扩展 Markdown extra），我想我我会尝试使用状态机并一次解析一个字符，将一些代表文本位的内部结构链接在一起，然后，一旦所有内容都被解析，就从所有串在一起的对象生成输出。

基本上，我会在读取输入文件时构建一个类似迷你 DOM 的树。
要生成输出，我只需遍历树并输出 HTML 或其他任何内容（PS、LaTex、RTF...）

可能会增加复杂性的东西：

• 事实上，您可以混合 HTML 和 markdown，尽管规则可以很容易实现：只需忽略两个平衡标签之间的任何内容并逐字输出即可。

• 网址和注释可以在文本底部找到参考。 使用超链接的数据结构可以简单地记录如下内容：

  [我的链接文本][linkkey] 
    结果是这样的结构：  
        URL结构：  
        |   InnerText ：“我的链接文本” 
        |   键：“链接键” 
        |   网址：<空> 
    

• 可以使用下划线定义标题，这可能迫使我们对通用段落使用简单的数据结构，并在读取文件时修改其属性：

  段落结构： 
    |   InnerText ：当前段落文本  
    |   （从行首到行尾）。 
    |   标题级别：   或 1-4 当我们可以评估时  
    |   该段落标题级别（如果有）。 
    标题可以用下划线

无论如何，只是一些想法。

我确信有许多小细节需要处理，并且我非常确信正则表达式在此过程中会变得很方便。
毕竟，它们是用来处理文本的。

Answer 4

我可能会阅读语法规范足够多的时间来了解它，并了解如何解析它。

阅读现有的解析器代码当然很棒，既可以查看复杂性的主要来源，也可以查看是否使用了任何特殊的巧妙技巧。 MD5 校验和的使用似乎有点奇怪，但我还没有对代码进行足够的研究，无法理解为什么要这样做。 名为 _EscapeSpecialChars() 的例程中的注释指出：

我们将用相应的 MD5 校验和值替换每个此类字符；
这可能有点矫枉过正，但它应该可以防止我们与逃生相撞
偶然的值。

用完整的 MD5 替换单个字符确实看起来有些奢侈，但也许确实有意义。

当然，考虑为 Flex 摆脱正则表达式的困境。

Answer 5

如果您不喜欢 Perl，还有至少 10 种其他语言的 Markdown 实现。 它们可能并不都具有 100% 的兼容性，但往往非常接近。

Answer 6

MarkdownPapers 是另一个 Java 实现，其解析器在 JavaCC 语法。

Answer 7

如果您使用的编程语言具有超过三种其他
用户，您应该能够找到一个库来为您解析它。 A
快速 Google 搜索揭示了 CL、Haskell、Python 的库，
JavaScript、Ruby 等。 您不太可能需要
重新发明这个轮子。

如果你真的必须从头开始编写，我建议你写一个
正确的解析器。 有了这个技巧，你就不必逃避事情了
与 MD5 哈希值。 （我同意如果你必须做这样的事情，
是时候重新考虑你的设计了。）

Answer 8

有多种语言可用的库，包括 php、ruby、java、c#、javascript。 我建议看看其中的一些想法。

这取决于您希望使用哪种语言，为了实现它的最佳方式，将有惯用和非惯用的方法。

正则表达式在 Perl 中工作，因为 Perl 和正则表达式是最好的朋友。

Answer 9

Markdown 是一种 JAWL（只是另一种 wiki 语言），

有很多开源 wiki，您可以检查解析器的代码。 大多数使用 REGEX

查看 Screwturn wiki，它有一个有趣的多通道格式化程序管道，这是一种非常好的技术 - 请参阅 /core/Formatter.cs 和 /core/FormatterPipeline.cs

最好是使用/加入现有项目，这些类型事情总是比看上去要困难得多

Answer 10

在这里您可以找到 Markdown 的 JavaScript 实现。 它还严重依赖正则表达式，因为这是解析文本最快、最简单的方法。

但它省去了 MD5 部分。

我无法直接帮助您进行解析编码，但也许此链接可以以某种方式帮助您。