tokenize

tokenize

文章 0 浏览 7

Lucene:在标记流时如何保留空格等?

我正在尝试执行某种文本流的“翻译”。更具体地说,我需要对输入流进行标记,在专门的字典中查找每个术语并输出标记的相应“翻译”。但是,我还想保留…

陌伤浅笑 2024-12-27 09:13:24 4 0

创建 Lucene 分析器

我想做一些基本的希伯来语词干分析。 我能找到的所有自定义分析器的示例总是合并其他分析器和过滤器,但它们本身从不进行任何字符串级处理。 例如,如…

音栖息无 2024-12-27 06:29:36 4 0

创建列表词法分析器/解析器

我需要创建一个词法分析器/解析器来处理可变长度和结构的输入数据。 假设我有一个保留关键字列表: keyWordList = ['command1', 'command2', 'command…

初见 2024-12-27 02:19:11 5 0

挑战:用于类似 shell 分配的配置行的仅正则表达式标记器

我在这里问了原来的问题 ,并得到了混合 Ruby 和正则表达式的实际响应。现在,我内心的纯粹主义者想知道:可以这可以用正则表达式完成吗?我的直觉告…

谁的新欢旧爱 2024-12-23 16:27:41 1 0

为什么要c++字符串分词器不起作用

我尝试用 C++ 编写一个简单的 std::string 标记生成器,但无法让它正常工作。我在网上找到了一个可以工作的东西,并且我明白为什么它可以工作......但…

你げ笑在眉眼 2024-12-23 03:15:39 1 0

将hintText替换为预定义列表

我正在使用 jQuery Tokeninput 开发一个项目。该插件的描述如下: Tokeninput 是一个 jQuery 插件,它允许您的用户从预定义列表中选择多个项目,并使…

安人多梦 2024-12-23 02:37:25 2 0

使用模式匹配器正则表达式类

在以下示例中: class ZiggyTest2{ public static void main(String[] args){ Pattern p = Pattern.compile("Water water WATER everywhere"); Matche…

青朷 2024-12-22 20:15:54 7 0

使用 python 对电子邮件进行标记

我需要使用 python 对电子邮件进行标记 意味着,我需要将标题、文本以及所有内容存储在某个不同的变量中。 目前我正在尝试使用 python 的电子邮件类来…

五里雾 2024-12-22 01:13:14 2 0

在包含标点符号的情况下在标点符号之后分割字符串

我正在尝试通过正则表达式将一串单词拆分为单词列表。我对正则表达式还是一个初学者。 我正在使用 nltk.regex_tokenize,它产生的结果很接近,但不完…

偏爱自由 2024-12-21 16:24:19 3 0

用C读取文件

我有一个输入文件,我需要从中提取单词。这些单词只能包含字母和数字,因此其他任何内容都将被视为分隔符。我尝试了 fscanf、fgets+sscanf 和 strtok …

神魇的王 2024-12-21 11:24:32 3 0

XSLT 1.0 和标记属性

[编辑]帖子更新了修订后的 XML 和所需的输出,如 Vincent Biragnet 的答案和评论中详细介绍的。 我正在尝试组合一些代码以将 XML 数据转换为基于文本…

辞别 2024-12-21 10:53:59 1 0

在 Javascript 中使用正则表达式对字符串进行标记

假设我有一个包含换行符和制表符的长字符串: var x = "This is a long string.\n\t This is another one on next line."; 那么我们如何使用正则表达…

若水微香 2024-12-20 20:12:56 6 0

lucene:使 StandardTokenizer 适应 Twitter 数据

我需要调整 lucene 的 StandardTokenizer 以适应有关 twitter 数据的一些特殊目的。目前,我使用 StandardTokenizer 来标记一些我想要处理的推文。它…

眼泪淡了忧伤 2024-12-20 18:59:18 3 0

在 Objective-C 中对多个字符标记字符串

我正在尝试构建一个可以对多个字符进行标记的字符串标记器。 我知道我可以使用: [字符串组件SeparatedByString:@"-"]; 但我想检查空格、破折号和换行…

慈悲佛祖 2024-12-19 09:13:49 4 0

XSL:for 循环中的标记化问题

我使用以下样式表在 Excel 工作簿中显示包含数据的表格。我无法获得所需的结果,而是显示的结果与下面给出的不同。 请提出建议? 使用的样式表: 预期…

も星光 2024-12-19 01:08:39 5 0
更多

推荐作者

达拉崩吧

文章 0 评论 0

PANGOO

文章 0 评论 0

kkgtx

文章 0 评论 0

WordPress小学生

文章 0 评论 0

酷炫老祖宗

文章 0 评论 0

硪扪都還晓

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文