Python3.0 - 标记化和取消标记化
我正在使用类似于以下简化脚本的内容来从较大的文件中解析 python 片段： import io import tokenize src = 'foo="bar"' src = bytes(src.encode()) s…
您是否曾在实际应用中有效地使用过词法分析器/解析器？
Closed. This question is opinion-based. It is not currently accepting answers. 想要改进这个问题？更新问题，以便可以通过编辑这篇文章用事实和…
如何在 Ruby 中解析制表符分隔的文本行？
我发现 Ruby 的 each 函数有点令人困惑。 如果我有一行文本，each 循环将为我提供每个空格分隔的单词，而不是每个单独的字符。 那么检索由制表符分隔…
如何在 C++ 中解析字符串
我想解析字符串，以便检查它们是否具有指定的语法。 示例： Str = Z344-R565l t 这里我的要求是在 Z 之后应该有一个数字，之后是 - ，之后应该有 R 后…
如何将令牌流转换为解析树
Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …
在 flex/lex（解析器生成器）中实现字边界状态
我希望能够根据模式匹配是出现在单词字符之后还是出现在非单词字符之后来预测模式匹配。 换句话说，我想在 flex/lex 不支持的模式开头模拟 \b 分词正…
用于文本分析的算法或库，特别是：文本中的主导词、短语和文本集合
我正在开展一个项目，需要分析一页文本和文本页面集合以确定主导词。 我想知道是否有一个库（更喜欢 c# 或 java）可以为我处理繁重的工作。 如果没有…
C#/.NET 词法分析器生成器
我正在寻找一个像样的 C#/.NET 词汇扫描器生成器——它支持 Unicode 字符类别，并生成一些可读的 & 字符集。 高效的代码。 有人知道其中一个吗？ …
