tokenize

tokenize

文章 0 浏览 4

标记带引号的字符串

我正在尝试标记字符串。只要没有引号字符,一切都很好: string:tokens ("abc def ghi", " "). ["abc","def","ghi"] 但是 string:tokens/2 确实对带引…

骑趴 2024-11-27 20:35:23 2 0

如何在没有 boost 的情况下标记字符串?

我正在 C++ 工作。我有以下字符串: 2011-07-01T14:32:39.1846579+02:00 有人能告诉我如何在另一个字符串中提取 2011-07-01 14:32 吗?…

豆芽 2024-11-27 01:18:25 1 0

strsep() 的用法及其替代方案

#include #include int main() { char *slogan = "together{kaliya} [namak]"; char *slow_gun = strdup(slogan); char *token = strsep(&slow_gun, "…

寻梦旅人 2024-11-27 00:33:08 0 0

对于Java,有一个分词器完全符合我想要的吗?

我想标记文本,但不仅仅用空格分隔。 有些东西,比如专有名称,我只想设置一个标记(例如:“Renato Dinhani Conceição”)。另一种情况:百分比(“6…

亚希 2024-11-26 15:06:57 4 0

有人可以简单解释一下自然语言处理的要素吗?

我是自然语言处理的新手,对所使用的术语感到困惑。 什么是代币化? POS 标签?实体识别? 标记化只是将文本分割成可以有意义的部分或为这些部分赋予…

尝蛊 2024-11-26 12:02:09 1 0

如何在java中标记输入文件

我正在用java对文本文件进行标记。我想读取一个输入文件,对其进行标记并将已标记化的某个字符写入输出文件中。这就是我到目前为止所做的: package o…

小猫一只 2024-11-26 06:37:51 0 0

如何使用 Watir 工具包在 Ruby 中使用 tokenize_tagline 检索 html 标签

我有一个 HTML 元素: 我想检索该元素的代码 src。请问如何做到这一点?我一直在环顾四周,我看到的唯一答案是对元素进行标记,但没有提及如何使用标…

仅此而已 2024-11-25 11:37:43 2 0

我是否应该在 Android 应用程序上将缓冲读取更改为内存中/标记化以读取 100,000 行文件?

目前,我正在使用缓冲读取将包含 100,000 行的文本文件加载到 SortedMap 中。我是否应该放弃这种方法,而是将整个文件加载到内存中,然后通过换行标记…

拥抱没勇气 2024-11-19 16:00:51 4 0

C# regex.split 方法在括号前添加空字符串

我有一些代码将方程式输入标记为字符串数组: string infix = "( 5 + 2 ) * 3 + 4"; string[] tokens = tokenizer(infix, @"([\+\-\*\(\)\^\\])"); fo…

戈亓 2024-11-19 01:18:12 2 0

解析普通的Python双精度列表

解析这样的行(元素数量不固定)的最佳方法是什么: [ 0.0125, 2.9518e+02, 1.2833e+00, -3.5302e-04, 1.2095e+01, 1.0858e-01, 1.2112e-04, 1.1276e+…

ゝ杯具 2024-11-18 14:35:50 0 0

从头开始学习词法扫描和解析

我想知道是否有人可以建议实现简单词法分析器和解析器的项目(无需 lex 和 yacc 等工具的帮助),以便我查看源代码。我对这个主题很感兴趣,在此之前…

萌辣 2024-11-17 03:51:13 0 0

如何处理短语查询和术语分组

我是 Lucene 的新手,我的项目是提供一组专门的搜索 小册子。我正在使用 Lucene Java 3.1。 基本思想是帮助人们知道在哪里寻找信息(而不是 大而干燥…

隔纱相望 2024-11-17 00:38:53 1 0

搜索查询标记器

我们正在尝试向列出餐馆的网站添加简单的搜索功能。我们尝试从搜索字符串中检测地名、位置和地点特征,例如“开罗附近的便宜餐馆”或“弗吉尼亚州的中…

若水微香 2024-11-16 23:58:14 0 0

如何从地址字符串中分离州、城市、邮政编码、国家等?

我想分离街道,城市,州,国家,邮政编码 String = Kanaka, Ranchi, zalkhand, 10001, India public class Test extends Activity { /** Called when …

勿忘心安 2024-11-16 16:43:18 3 0

如何拥有“自定义 split()”在带有 strtk 的列表中?

我已阅读 http://www.codeproject.com/KB/recipes/Tokenizer.aspx 并且我想在我的主目录中添加最后一个示例(在最后,就在所有图表之前)“扩展定界符…

2024-11-15 21:47:47 0 0
更多

推荐作者

Gabu-gabumon

文章 0 评论 0

qq_CgiN62

文章 0 评论 0

荔枝明

文章 0 评论 0

¤→小豸慧

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文