tokenize

tokenize

文章 0 浏览 4

如何使用正则表达式解析类似 Xml 的标签

我需要标记以下标签: {TagName attrib1=”value1” attrib2=”value 3”}. 我想编写正则表达式来执行此操作,但问题是属性值可以包含空格,所以我不…

旧人九事 2024-09-24 22:38:58 9 0

如何使用斯坦福 NLP API 从 NL 查询中检索短语或标记?

我需要从斯坦福解析器返回的短语在我的程序中使用。…

乱世争霸 2024-09-24 18:33:08 7 0

MALLET 分词器

您好,我想使用 MALLET 的主题建模,但是当我将数据导入到 mallet 时,我可以提供自己的分词器或文本文档的分词版本吗?我发现 MALLET 的标记生成器不…

拥抱影子 2024-09-24 00:41:18 4 0

将列拆分为多行

我有一个表,其中有一列包含用逗号(,)分隔的多个值,并且希望将其拆分,以便我将每个站点放在其自己的行上,但前面的数字相同。 所以我的选择将从…

和我恋爱吧 2024-09-19 12:04:23 8 0

Oracle PL/SQL 中有分割字符串的函数吗?

我需要编写一个过程来规范化具有由一个字符连接的多个标记的记录。我需要获取这些标记来分割字符串,并将每个标记作为新记录插入表中。 Oracle有类似…

夜司空 2024-09-19 10:21:02 9 0

Lucene.NET:驼峰式分词器?

我今天开始使用 Lucene.NET,并编写了一个简单的测试方法来对源代码文件进行索引和搜索。问题在于标准分析器/标记器将整个驼峰式源代码标识符名称视为…

心是晴朗的。 2024-09-19 06:12:44 6 0

关于正则表达式和标记化的问题

我需要制作一个能够识别英语单词的分词器。 目前,我对可以作为 url 表达式一部分的字符感到困惑。 例如,如果字符“:”、“?”、“=”是网址的一部…

情绪失控 2024-09-18 13:39:10 2 0

sqlite-fts3:自定义标记器?

这里有人有编写自定义 FTS3(全文搜索扩展)分词器的经验吗?我正在寻找一个可以忽略 HTML 标签的分词器。 谢谢。…

只是一片海 2024-09-17 20:18:47 7 0

解析器与词法分析器和 XML

我现在正在阅读有关编译器和解析器架构的内容,我想知道一件事...... 当您有 XML、XHTML、HTML 或任何基于 SGML 的语言时,词法分析器在这里的作用是…

若能看破又如何 2024-09-16 23:27:01 10 0

是否有 Javascript 词法分析器/分词器(PHP 中)?

我在 Mozilla.org 上看到过几个 Python Javascript 分词器和一份关于 Javascript Lexer 的神秘文档,但找不到任何专门用于 PHP 的 Javascript 分词器…

漫漫岁月 2024-09-16 15:15:10 9 0

CPP 字符串的字符串标记器?

我想对 CPP 字符串使用字符串分词器,但我能找到的只是 Char*。 CPP 字符串有类似的吗?…

匿名的好友 2024-09-16 05:52:00 7 0

分割字符串/标记

有没有更好的方法来读取java文件中的令牌? 我目前正在使用 StringTokenizer 来分割令牌。但在大多数情况下,它的效率可能非常低,因为您必须逐个令牌…

痞味浪人 2024-09-15 16:11:14 3 0

语法感知的子字符串替换

我有一个包含有效 Clojure 表单的字符串。我想替换其中的一部分,就像使用 assoc-in 一样,但将整个字符串处理为标记。 => (assoc-in [:a [:b :c]] [1…

清眉祭 2024-09-13 19:02:37 9 0

在 Solr 中使用多个标记器

我想要做的是执行查询并获取不区分大小写且与索引中的部分单词匹配的结果。 我目前设置了一个 Solr 模式,该模式已被修改,以便我可以查询并返回结果…

情栀口红 2024-09-13 15:40:04 5 0

C Tokenizer - 它是如何工作的?

这是如何运作的? 我知道要使用它,您传入: start:字符串(例如“Item 1,Item 2,Item 3”) delim:分隔符字符串(例如“,”) tok:对将保存令…

深海少女心 2024-09-12 07:49:33 20 0
更多

推荐作者

娇女薄笑

文章 0 评论 0

biaggi

文章 0 评论 0

xiaolangfanhua

文章 0 评论 0

rivulet

文章 0 评论 0

我三岁

文章 0 评论 0

薆情海

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文