tokenize

tokenize

文章 0 浏览 7

php preg_replace_call :提取特定值以供稍后重新插入

为了简洁起见... 我想从字符串中取出项目,将它们放入一个单独的数组中,用 ID 标记替换从字符串中提取的值,解析字符串,然后将提取的项目放回到原来…

百善笑为先 2024-12-08 03:57:36 10 0

对文件中的字符串进行标记

我有一个文件,我正在标记其中的所有字符串。 因此,每个令牌都存储在 char *token = (char *) malloc(len + 1); 令牌在分配新令牌之前被释放,因此我…

朦胧时间 2024-12-08 01:21:05 4 0

Solr 中 StandardTokenizerFactory 和 KeywordTokenizerFactory 之间的区别?

我是 Solr 新手。我想知道何时使用 StandardTokenizerFactory 和 KeywordTokenizerFactory? 我阅读了 Apache Wiki 上的文档,但我不明白。 谁能解释…

可爱咩 2024-12-07 16:02:01 4 0

Solr(Lucene) 在添加自定义 TokenFilter 后仅索引第一个文档

我创建了一个自定义令牌过滤器,它连接流中的所有令牌。这是我的 incrementToken() 函数, public boolean incrementToken() throws IOException { if…

花开雨落又逢春i 2024-12-07 09:44:35 4 0

在 KornShell 中对字符串进行标记

我需要在 KornShell (ksh) 中对字符串进行标记。我有以下 bash 脚本;但它似乎在 ksh 中不起作用。 脚本如下。请帮助 ksh 工作。 OLDIFS=$IFS IFS=","…

盛夏尉蓝 2024-12-07 06:17:46 8 0

Solr:使用 EdgeNGramFilterFactory 进行精确短语查询

在 Solr (3.3) 中,是否可以通过 EdgeNGramFilterFactory 使字段可逐个字母搜索,并且对短语查询也敏感? 例如,我正在寻找一个字段,如果包含“contr…

疑心病 2024-12-07 04:25:26 6 0

如何扩展WhitespaceTokenizer?

我需要使用一个分词器来分割空格上的单词,但如果空格位于双括号内,则不会分割。这里有一个例子: My input-> term1 term2 term3 ((term4 term5)) te…

残月升风 2024-12-06 12:49:18 4 0

从文本字段/文本区域进行标记化

我想从文本区域进行标记化,但我无法调用文本区域。输出无法显示。 下面是我的程序: static JTextArea Report_tf; public static void main(String[]…

盗心人 2024-12-05 15:12:54 4 0

Solr 分词器问题

我有一个我认为简单的 solr 练习,但我不确定该使用什么。 我有很多名字,例如乔·史密斯(Joe Smith)、杰克丹尼(Jack Daniels)和史蒂夫(Steve)。…

故事与诗 2024-12-04 23:53:37 3 0

如何在 solr 中的过滤器之间使用分词器?

我想使用一种模式,其中在一个过滤器之后调用空白标记生成器,然后应用所有其他过滤器: 2024-12-04 15:44:08 4 0

这个 Lucene TokenFilter 有什么问题吗?

免责声明:过去 41 小时中,我有 36 个小时都在编码。我头疼。我不明白为什么这个组合 TokenFilter 返回 2 个令牌,都是来自源流的第一个令牌。 publi…

你与清晨阳光 2024-12-04 00:02:28 4 0

标记的类层次结构并在解析器中检查它们的类型

我正在尝试编写一个可重用的解析库(为了好玩)。 我编写了一个 Lexer 类,它生成一个 Tokens 序列。 Token 是子类层次结构的基类,每个子类代表不同…

煞人兵器 2024-12-03 21:50:21 2 0

Solr 分词器注入

作为示例,我有一个文本字段,可能包含以下字符串: “d7199^^==^^81^^==^^一两个句子!!” 我想标记此数据,但让每个标记包含字符串的第一部分。因…

吐个泡泡 2024-12-01 11:07:53 4 0

字符串到标记序列

我正在解析命令序列字符串,需要将每个字符串转换为一个 string[],该字符串将按照读取的顺序包含命令标记。 原因是这些序列存储在数据库中,以指示协…

第七度阳光i 2024-11-30 23:41:13 4 0

对复杂输入进行标记

我正在尝试在 Python 中标记以下输入: text = 'This @example@ is "neither":/defn/neither complete[1] *nor* trite, *though _simple_*.' 我想生成…

情未る 2024-11-30 20:41:17 6 0
更多

推荐作者

达拉崩吧

文章 0 评论 0

PANGOO

文章 0 评论 0

kkgtx

文章 0 评论 0

WordPress小学生

文章 0 评论 0

酷炫老祖宗

文章 0 评论 0

硪扪都還晓

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文