tokenize

tokenize

文章 0 浏览 6

sqlite-fts3:自定义标记器?

这里有人有编写自定义 FTS3(全文搜索扩展)分词器的经验吗?我正在寻找一个可以忽略 HTML 标签的分词器。 谢谢。…

只是一片海 2024-09-17 20:18:47 9 0

解析器与词法分析器和 XML

我现在正在阅读有关编译器和解析器架构的内容,我想知道一件事...... 当您有 XML、XHTML、HTML 或任何基于 SGML 的语言时,词法分析器在这里的作用是…

若能看破又如何 2024-09-16 23:27:01 12 0

是否有 Javascript 词法分析器/分词器(PHP 中)?

我在 Mozilla.org 上看到过几个 Python Javascript 分词器和一份关于 Javascript Lexer 的神秘文档,但找不到任何专门用于 PHP 的 Javascript 分词器…

漫漫岁月 2024-09-16 15:15:10 11 0

CPP 字符串的字符串标记器?

我想对 CPP 字符串使用字符串分词器,但我能找到的只是 Char*。 CPP 字符串有类似的吗?…

匿名的好友 2024-09-16 05:52:00 9 0

分割字符串/标记

有没有更好的方法来读取java文件中的令牌? 我目前正在使用 StringTokenizer 来分割令牌。但在大多数情况下,它的效率可能非常低,因为您必须逐个令牌…

痞味浪人 2024-09-15 16:11:14 4 0

语法感知的子字符串替换

我有一个包含有效 Clojure 表单的字符串。我想替换其中的一部分,就像使用 assoc-in 一样,但将整个字符串处理为标记。 => (assoc-in [:a [:b :c]] [1…

清眉祭 2024-09-13 19:02:37 9 0

在 Solr 中使用多个标记器

我想要做的是执行查询并获取不区分大小写且与索引中的部分单词匹配的结果。 我目前设置了一个 Solr 模式,该模式已被修改,以便我可以查询并返回结果…

情栀口红 2024-09-13 15:40:04 8 0

C Tokenizer - 它是如何工作的?

这是如何运作的? 我知道要使用它,您传入: start:字符串(例如“Item 1,Item 2,Item 3”) delim:分隔符字符串(例如“,”) tok:对将保存令…

深海少女心 2024-09-12 07:49:33 21 0

如何在 Delphi 中解析复杂的文件格式? (不是 CSV、XML 等)

自从我必须解析比 CSV 或 XML 更难的文件以来已经有几年了,所以我缺乏实践。我的任务是在 Delphi 应用程序中解析名为 NeXus 的文件格式。 问题是我只…

紫南 2024-09-10 20:34:46 13 0

c++ lex 和 bison 相对于自制分词器/解析器有什么优势

我想在 C++ 中进行一些解析和标记以用于学习目的。现在,我在网上阅读有关该主题的内容时经常遇到 bison/yacc 和 lex。 与使用 STL 或 boost::regex …

不疑不惑不回忆 2024-09-09 05:52:06 6 0

如何在shell中分割字符串并获取最后一个字段

假设我有字符串 1:2:3:4:5 并且我想获取它的最后一个字段(在本例中为 5)。我如何使用 Bash 来做到这一点?我尝试了 cut,但我不知道如何使用 -f 指…

作妖 2024-09-08 02:27:27 10 0

解析器(例如 HTML)如何工作?

为了论证起见,我们假设一个 HTML 解析器。 我读到它首先对所有内容进行标记,然后对其进行解析。 标记化是什么意思? 解析器是否读取每个字符,构建…

眼角的笑意。 2024-09-07 07:02:30 11 0

SOLR 中的 EdgeNGramTokenizerFactory EdgeNGramFilterFactory 有什么区别?

这两种过滤器有什么区别? 它们的效果好像是一样的? 谁能提供一个例子来说明如何将它们应用于某些文本?…

三生殊途 2024-09-06 12:50:56 9 0

在程序中同时使用 getline 和 strtok 时出现问题

在下面的程序中,我打算将文件中的每一行读入字符串,分解字符串并显示各个单词。我面临的问题是,程序现在仅输出文件中的第一行。我不明白为什么会发…

自由范儿 2024-09-06 01:35:34 10 0

oracle 函数体中的逗号分隔值

我有以下 oracle 函数,但它不起作用并且出错。我用了询问汤姆 转换逗号分隔值以在 包头中声明的 select * from table1 where col1 in <> 中使用的方…

情丝乱 2024-09-05 19:30:34 11 0
更多

推荐作者

少女净妖师

文章 0 评论 0

朱洁

文章 0 评论 0

觉浅

文章 0 评论 0

滥情空心

文章 0 评论 0

hl1314520

文章 0 评论 0

更多

友情链接

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文