tokenize

tokenize

文章 0 浏览 4

StreamTokenizer 将 001_to_003 拆分为两个令牌;我怎样才能阻止它这样做?

Java的StreamTokenizer在识别数字方面似乎太贪婪了。它的配置选项相对较少,而且我还没有找到让它执行我想要的操作的方法。以下测试通过,IMO 显示了…

_失温 2024-10-01 15:40:02 5 0

C++ - 包含文件太多? &结构重新定义?

我目前正在为 XML 编写一个令牌识别器。我将遵循 FSA 的基础来这样做。所以我有一个包含以下代码的头文件... #define MAX_LENGTH 512 #define MAX_NAM…

折戟 2024-10-01 05:36:20 2 0

奇怪的标记化错误

我正在尝试对推文进行标记,但在循环它们时遇到了问题。 例如,这工作正常: tweet = """This is an example Tweet!""" # tokenize the sentence prin…

我为君王 2024-10-01 01:42:36 5 0

什么是正确的标记化算法? &错误:类型错误:强制转换为 Unicode:需要字符串或缓冲区,已找到列表

我正在做一项信息检索任务。作为我想做的预处理的一部分。 停用词删除 分 词词干 分析 (Porter Stemmer) 最初,我跳过了分词词干分析。结果我得到了这…

豆芽 2024-09-30 08:22:38 6 0

爪哇。算术运算。标记化。如何?

谁能解释一下或为理解这个例子提供一个很好的参考: int a=1; int b=2; System.out.println(a---b); //correct System.out.println(a- -b); //correct…

念﹏祤嫣 2024-09-30 05:44:02 1 0

使用字符串标记器忽略括号?

我的输入如下所示:(0 0 0) 我想忽略括号,只将数字(在本例中为 0)添加到数组列表中。 我正在使用扫描仪从文件中读取数据,这就是我到目前为止所拥…

久夏青 2024-09-28 20:45:08 10 0

在 Java 中对源代码进行标记

对于系统软件开发课程,我正在为讲师发明的汇编语言开发一个完整的汇编程序。目前我正在研究标记器。在进行一些搜索时,我遇到了 Java StringTokenize…

壹場煙雨 2024-09-26 09:05:12 4 0

从字符串序列中提取最后 2 个单词,以空格分隔

我有任何序列(或句子),我想提取最后 2 个字符串。 例如, sdfsdfds sdfs dfsd fgsd 3 dsfds 应生成:3 dsfds sdfsd (dfgdg)gfdg fg 6 gg 应生成:6…

撞了怀 2024-09-26 01:36:17 4 0

在 PL/SQL 中将逗号分隔的字符串转换为数组

如何将逗号分隔的字符串转换为数组? 我有输入 '1,2,3' ,我需要将其转换为数组。…

尬尬 2024-09-25 01:15:56 8 0

如何使用正则表达式解析类似 Xml 的标签

我需要标记以下标签: {TagName attrib1=”value1” attrib2=”value 3”}. 我想编写正则表达式来执行此操作,但问题是属性值可以包含空格,所以我不…

旧人九事 2024-09-24 22:38:58 8 0

如何使用斯坦福 NLP API 从 NL 查询中检索短语或标记?

我需要从斯坦福解析器返回的短语在我的程序中使用。…

乱世争霸 2024-09-24 18:33:08 6 0

MALLET 分词器

您好,我想使用 MALLET 的主题建模,但是当我将数据导入到 mallet 时,我可以提供自己的分词器或文本文档的分词版本吗?我发现 MALLET 的标记生成器不…

拥抱影子 2024-09-24 00:41:18 3 0

将列拆分为多行

我有一个表,其中有一列包含用逗号(,)分隔的多个值,并且希望将其拆分,以便我将每个站点放在其自己的行上,但前面的数字相同。 所以我的选择将从…

和我恋爱吧 2024-09-19 12:04:23 8 0

Oracle PL/SQL 中有分割字符串的函数吗?

我需要编写一个过程来规范化具有由一个字符连接的多个标记的记录。我需要获取这些标记来分割字符串,并将每个标记作为新记录插入表中。 Oracle有类似…

夜司空 2024-09-19 10:21:02 9 0

Lucene.NET:驼峰式分词器?

我今天开始使用 Lucene.NET,并编写了一个简单的测试方法来对源代码文件进行索引和搜索。问题在于标准分析器/标记器将整个驼峰式源代码标识符名称视为…

心是晴朗的。 2024-09-19 06:12:44 5 0
更多

推荐作者

胡图图

文章 0 评论 0

zt006

文章 0 评论 0

z祗昰~

文章 0 评论 0

冰葑

文章 0 评论 0

野の

文章 0 评论 0

天空

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文