tokenize

tokenize

文章 0 浏览 6

如何在java中扫描文本时删除空格

我在java中实现了几种不同的“扫描仪”,从 Scanner 类到简单地使用, String.split("\ss+") 但是当连续有几个空格时,例如 "the_quick____brown___fo…

怂人 2024-08-21 23:24:16 12 0

词法分析器/分词器和字符集

构建词法分析器/分词器时,依赖诸如 isdigit/isalpha/... 之类的函数(在 C 中)是否是一个错误?据我所知,它们取决于语言环境。我是否应该选择一个…

箹锭⒈辈孓 2024-08-20 16:21:02 14 0

坏指针? - C++

我正在为 C++ 作业编写一个使用指针的字符串标记化程序。然而,当我跑步时调试一下,它说我的指针pStart无效。我有一种感觉,我的问题出在我的参数构…

故笙诉离歌 2024-08-20 15:11:38 7 0

有没有比 lex/flex 更好(更现代)的工具来生成 C++ 的分词器?

我最近将源文件解析添加到现有工具中,该工具从复杂的命令行参数生成输出文件。 命令行参数变得如此复杂,以至于我们开始允许它们作为一个文件提供,…

jJeQQOZ5 2024-08-19 21:51:29 9 0

Java Shell 通配符标记生成器

我的 Java 非常生疏,我一直在尝试制作一个用户界面来简化 shell 脚本或批处理文件的执行,具体取决于它是 Linus 还是 Win32。这些文件具有以下命名约…

别把无礼当个性 2024-08-18 11:25:47 13 0

字符串分词器

有人可以通过在代码中添加一些注释来帮助我理解这个字符串标记器是如何工作的吗?我非常感谢任何帮助,谢谢! public String[] split(String toSplit,…

淡写薰衣草的香 2024-08-17 13:20:41 6 0

Javascript 词法分析器/分词器(Python 中?)

有谁知道 Javascript 词法分析器或分词器(最好是 Python 中的?) 基本上,给定一个任意 Javascript 文件,我想获取标记。 例如 foo = 1 变成类似: …

早乙女 2024-08-16 09:15:41 16 0

分割字符串并排列数据库以在 PHP 中显示产品

我是 php 新手。您能帮我找到正确安排以下任务的方法吗: 表“产品” id - 详细信息 1 - 1-30,2-134:6:0;;2-7:55:0;;1-2,2-8:25:0 - 该字符串可能很长…

无所谓啦 2024-08-16 07:06:40 5 0

没有运算符的 Lucene 查询

我正在尝试使用 Lucene 在数据库中搜索姓名。然而,有些名称包含“NOT”和“OR”等单词,甚至包含“-”减号。我仍然希望使用分析器分解名称中的不同标…

几味少女 2024-08-15 23:54:29 15 0

自动标记用户代理字符串以进行统计?

我们在我们的网站中跟踪用户代理字符串。我想对它们进行一些统计,看看我们有多少 IE6 用户(这样我们就知道我们要针对什么进行开发),以及我们有多…

゛清羽墨安 2024-08-15 13:11:39 9 0

C 有类似 PPI 或 Perl::Critic 的东西吗?

PPI 和 Perl::Critic 允许程序员检测 Perl 语法中的某些内容程序。 有没有类似的东西可以标记/解析 C 并让您有机会编写脚本来处理该信息?…

通知家属抬走 2024-08-15 10:17:08 11 0

C++增强:分割字符串

如何使用正则表达式使用 Boost 拆分字符串并将分隔符包含在结果列表中? 例如,如果我有字符串“1d2”并且我的正则表达式是“[az]”,我希望结果在带…

紫轩蝶泪 2024-08-15 06:04:04 6 0

类似 Google 的搜索查询标记化和字符串分割

我正在寻找类似于谷歌的做法来标记搜索查询。例如,如果我有以下搜索查询: the quick "brown fox" jumps over the "lazy dog" 我想要一个包含以下标…

ゝ偶尔ゞ 2024-08-14 11:18:36 8 0

从文本文件读取到 C 数组中进行标记化

当你用 C 语言读取文件时,如何进行标记化? 文本文件: PES 2009;Konami;DVD 3;500.25; 6 刺客信条;育碧;DVD;598.25; 3 地狱;EA;DVD 2;65…

梦言归人 2024-08-13 01:11:52 8 0

在 Python 中标记一个保留分隔符的字符串

Python 中是否有与 str.split 等效的东西也返回分隔符? 在处理一些标记后,我需要保留输出的空白布局。 示例: >>> s="\tthis is an example" >>> pr…

此刻的回忆 2024-08-12 16:53:17 6 0
更多

推荐作者

少女净妖师

文章 0 评论 0

朱洁

文章 0 评论 0

觉浅

文章 0 评论 0

滥情空心

文章 0 评论 0

hl1314520

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文