lexer

lexer

文章 0 浏览 6

如果扫描仪发现该语言中不存在某个单词,他会停止扫描其余部分还是继续扫描并获得令牌?

c++ 语法 int x = 5; 扫描器将获取该语句的标记 从 int x = 5; 到 如果出现语法错误怎么办? intd x = 5; 他是否会得到正确的代币?…

天邊彩虹 2025-01-13 09:09:11 3 0

如果我想解析一些高度可配置的东西,我应该在 ANTLR 中做什么?

我正在编写一个语法来识别简单的数学表达式。我有它的英语工作。 现在我想扩展语法以支持 i18n。因此,数字、基数分隔符等取决于用户的区域设置。 在 …

没有心的人 2025-01-12 16:07:49 4 0

Python 解析器 ply 不处理空格

我使用 ply 解析数据。我尝试使用空格作为词位的一部分。这是一个简化的示例: from ply.lex import lex from ply.yacc import yacc tokens = ('NUM',…

公布 2025-01-12 01:58:22 2 0

如何附加两个词法分析器表达式 - ANTLR4

我需要词法分析器将两个不同的字符表达式解析为一个表达式。 所以我有这样的东西, rootPath : 'A' rootType SEP childPath; //我的输出应该是AB:2或A…

违心° 2025-01-11 03:07:15 5 0

处理对上下文敏感的重叠词法分析器模式的最佳方法是什么?

我正在尝试编写一个 Antlr 语法来解析 C4 DSL 。然而,DSL 有很多语法非常开放的地方,导致词法分析器规则重叠(在多个标记规则匹配的意义上)。 例如…

萌辣 2025-01-10 02:22:52 3 0

ANTLR 生成的解析器产生 MissingTokenException

我使用 ANTLRv3 来解析如下所示的输入: * this is an outline item at level 1 ** item at level 2 *** item at level 3 * another item at level 1 …

日裸衫吸 2025-01-04 19:27:55 4 0

Java 源文件中的新行:如何使用 Character 类测试它们?

用 Java 编写 .java 源文件的词法分析器。我有一个字符流,我试图让词法分析器跳过单行注释。 我循环遍历每个字符,我的假设是应该可以首先检测注释的…

晨曦慕雪 2025-01-02 06:38:19 3 0

用于从文件填充类的 Lexer/Parser 的语法规则

我想在最简单的级别上使用词法分析器和解析器来解决以下问题 我有一个文件,其中包含以下形式的内容 TYPE1 ABCR { TYPE2 EFG { omega 1 TYPE3 AFGH { …

秋凉 2025-01-01 11:03:46 5 0

如何返回'+'直接来自词法分析器(没有令牌)

目前我正在做类似 "+" return TADD; 在我的 .l 文件中返回令牌 TADD 的事情。我想知道是否有一种方法可以直接返回“+”,这样我就不必为每个运算符添…

深府石板幽径 2024-12-27 15:37:33 1 0

Flex Bison 编译器

我是新来的,这是我的第一个问题。 我必须制作一个 C++ 编译器,但我不知道为什么我的代码不起作用。 当我执行它时,出现分段错误。 我使用 Flex 和 B…

榆西 2024-12-27 09:44:02 5 0

创建列表词法分析器/解析器

我需要创建一个词法分析器/解析器来处理可变长度和结构的输入数据。 假设我有一个保留关键字列表: keyWordList = ['command1', 'command2', 'command…

初见 2024-12-27 02:19:11 4 0

ANTLR 实现类似Python的缩进相关语法的最简单方法是什么?

我正在尝试实现类似Python的缩进相关语法。 源代码示例: ABC QWE CDE EFG EFG CDE ABC QWE ZXC 正如我所见,我需要的是实现两个标记 INDENT 和 DEDEN…

风吹雨成花 2024-12-23 00:39:10 4 0

Antlr - 与多个备选方案的决策匹配

我正在尝试为以下规则找到一个匹配项,该规则将匹配运算符标识符,但它没有,特别是在匹配 == 和 ..: Symbol : ( U_Sm | U_So | U_Sc | '\u0080' .. …

一杆小烟枪 2024-12-20 19:24:57 1 0

Java文本编辑器/解析框架

首先简单介绍一下我的情况: 我刚刚开始了一个业余爱好项目,关于构建我自己的文本编辑器,称为 BlazeEdit。我用 Scala 编写它,因此选择在 JVM 上工…

梦情居士 2024-12-15 12:58:11 3 0

为什么令牌规则(在ANTLR中)“标识:字母(字母|数字)*; ”无法识别“xy z”?

假设我有一段 ANTLR 语法(词法分析器部分), fragment LETTER : ('a'..'z' | 'A'..'Z') ; fragment DIGIT : '0'..'9'; INTEGER : DIGIT+ ; Ident : …

往事风中埋 2024-12-15 11:44:35 8 0
更多

推荐作者

alipaysp_snBf0MSZIv

文章 0 评论 0

梦断已成空

文章 0 评论 0

瞎闹

文章 0 评论 0

寄意

文章 0 评论 0

似梦非梦

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文