tokenize

tokenize

文章 0 浏览 4

请帮忙,while 循环和分词器以及读取文件

显然我需要帮助。我们的任务是检索一个文件并将其分类并将其显示在另一个文件中。姓氏,名字,然后年级。由于错误“java.util.NoSuchElementException…

天气好吗我好吗 2024-10-31 01:37:58 3 0

PHP 中的字符串分词器

我最近遇到了一个奇怪的问题。 我有以下代码来标记 php 中的字符串: $token = strtok($string, "#"); while ($token != false) { echo $token; $toke…

属性 2024-10-30 17:34:18 0 0

Python:用短语进行标记

我有一些想要标记的文本块,但我不想对空格和标点符号进行标记,这似乎是 NLTK。我希望将某些特定短语标记为单个标记,而不是常规标记化。 例如,给定…

苏佲洛 2024-10-30 13:33:22 5 0

递归下降解析器是否简单?

我正在为模板语言编写一个解析器,它可以编译成 JS(如果相关的话)。我从一些简单的正则表达式开始,这似乎可以工作,但是正则表达式非常脆弱,所以…

幽蝶幻影 2024-10-29 23:51:20 6 0

JsLex 错误地解释了哪些 Javascript 构造?

JsLex 是我用 Python 编写的 Javascript 词法分析器。它可以很好地完成一天(左右)的工作,但我确信在某些情况下它会出错。特别是,它对分号插入一无…

各空 2024-10-29 16:27:30 2 0

MultiAutoCompleteTextView 是否有多个分隔符?

我正在使用 MultiAutoCompleteTextView,它显示用户输入的建议。它仅在项目由一个或多个空格分隔时才起作用,但当以新行(即按下“输入”按钮)作为分…

潦草背影 2024-10-28 17:56:15 2 0

将一串数据标记为结构向量?

因此,我有以下数据字符串,该数据字符串是通过 TCP winsock 连接接收的,并且想要进行高级标记化,将其转换为结构向量,其中每个结构代表一条记录。 …

半山落雨半山空 2024-10-27 06:10:59 3 0

编写一个简单的编译器

我正在为一种简单语言编写一个编译器。 我制作了一个词法分析器/分词器,它接受一个文件并在 stdout 中打印标记。 现在我想做语法分析,但我不知道如…

全部不再 2024-10-26 22:00:34 5 0

jQuery:“标记化”自动建议插件允许添加新项目

我正在寻找 jQuery 的“Facebook 风格”或“标记化”自动建议插件,允许从建议列表以及新条目中进行多项选择。 这个插件正是我所需要的,但它需要 Moo…

秋千易 2024-10-23 13:31:17 2 0

最准确的句子分割开源工具是什么?

我需要将文本分成句子。我目前正在使用 OpenNLP 的句子检测器工具。我还听说过 NLTK 和斯坦福 CoreNLP 工具。目前最准确的英语句子检测工具是什么?我…

后知后觉 2024-10-22 01:14:18 4 0

Lucene 标准分析器按周期拆分

如何使 Lucene 的标准分析器对“.”进行标记化炭? 例如,在查询“B”时,我需要它返回“ABC”中的 B 作为结果。我需要按照标准分析器处理数字的方式…

山有枢 2024-10-21 13:36:28 3 0

RegEx Tokenizer 将文本拆分为单词、数字和标点符号

我想做的就是把一个文本拆分成他的终极元素。 例如: from nltk.tokenize import * txt = "A sample sentences with digits like 2.119,99 or 2,99 ar…

何以畏孤独 2024-10-21 03:00:09 4 0

使用 Boost 进行正则表达式标记仅获取单词的最后一个字母

我正在尝试用 Boost 解析一个简单的句子结构。这是我第一次使用 Boost,所以我可能做错了。我想要做的是只接受这种格式的字符串: 必须以字母开头(不…

痴意少年 2024-10-21 01:17:11 3 0

用于识别数字数据的自然语言处理

我的要求是从自然语言句子(仅限英语)中识别和提取数字数据以响应查询。平台是Java。例如,如果用户查询是“珠穆朗玛峰的高度是多少”,我们有一个段…

旧竹 2024-10-20 14:06:11 1 0

好的java分词器吗?

Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …

撩心不撩汉 2024-10-20 05:31:59 3 0
更多

推荐作者

胡图图

文章 0 评论 0

zt006

文章 0 评论 0

z祗昰~

文章 0 评论 0

冰葑

文章 0 评论 0

野の

文章 0 评论 0

天空

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文