tokenize

tokenize

文章 0 浏览 4

Solr Dismax 处理程序 - 空格和特殊字符行为

当我的查询中有特殊字符时,我得到了奇怪的结果。 这是我的请求: q=histoire-france&start=0&rows=10&sort=score+desc&defType=dismax&qf=any^1.0&mm…

听你说爱我 2024-12-11 12:24:14 1 0

使用 JFlex/Java CC 为新的 TokenStream API 生成自定义 Tokenizer

我们目前使用 Lucene 2.3.2 并希望迁移到 3.4.0 。我们有自己的使用 Java CC 生成的自定义 Tokenizer,自从我们开始使用 Lucene 以来,它就一直在使用…

淡墨 2024-12-11 07:21:28 1 0

如何在不调用incrementToken()的情况下查看Lucene StandardTokenizer是否有令牌

我只需要知道标记输入的结果是否会产生任何标记,如果效果很好,如果没有,我确实需要以另一种方式进行标记。如果它确实有一些令牌调用 incToken() 会…

将军与妓 2024-12-10 01:16:03 1 0

如何独立使用 solr.analysis.WordDelimiterFilter

在这一点上,我很确定我已经搜索了足够多的内容,但我找不到一个很好的例子来说明如何使用这门课。 我一直在寻找一组好的分词器,当然 solr/lucene 集…

小帐篷 2024-12-09 15:36:49 1 0

php preg_replace_call :提取特定值以供稍后重新插入

为了简洁起见... 我想从字符串中取出项目,将它们放入一个单独的数组中,用 ID 标记替换从字符串中提取的值,解析字符串,然后将提取的项目放回到原来…

百善笑为先 2024-12-08 03:57:36 1 0

对文件中的字符串进行标记

我有一个文件,我正在标记其中的所有字符串。 因此,每个令牌都存储在 char *token = (char *) malloc(len + 1); 令牌在分配新令牌之前被释放,因此我…

朦胧时间 2024-12-08 01:21:05 0 0

Solr 中 StandardTokenizerFactory 和 KeywordTokenizerFactory 之间的区别?

我是 Solr 新手。我想知道何时使用 StandardTokenizerFactory 和 KeywordTokenizerFactory? 我阅读了 Apache Wiki 上的文档,但我不明白。 谁能解释…

可爱咩 2024-12-07 16:02:01 1 0

Solr(Lucene) 在添加自定义 TokenFilter 后仅索引第一个文档

我创建了一个自定义令牌过滤器,它连接流中的所有令牌。这是我的 incrementToken() 函数, public boolean incrementToken() throws IOException { if…

花开雨落又逢春i 2024-12-07 09:44:35 1 0

在 KornShell 中对字符串进行标记

我需要在 KornShell (ksh) 中对字符串进行标记。我有以下 bash 脚本;但它似乎在 ksh 中不起作用。 脚本如下。请帮助 ksh 工作。 OLDIFS=$IFS IFS=","…

盛夏尉蓝 2024-12-07 06:17:46 1 0

Solr:使用 EdgeNGramFilterFactory 进行精确短语查询

在 Solr (3.3) 中,是否可以通过 EdgeNGramFilterFactory 使字段可逐个字母搜索,并且对短语查询也敏感? 例如,我正在寻找一个字段,如果包含“contr…

疑心病 2024-12-07 04:25:26 0 0

如何扩展WhitespaceTokenizer?

我需要使用一个分词器来分割空格上的单词,但如果空格位于双括号内,则不会分割。这里有一个例子: My input-> term1 term2 term3 ((term4 term5)) te…

残月升风 2024-12-06 12:49:18 2 0

从文本字段/文本区域进行标记化

我想从文本区域进行标记化,但我无法调用文本区域。输出无法显示。 下面是我的程序: static JTextArea Report_tf; public static void main(String[]…

盗心人 2024-12-05 15:12:54 1 0

Solr 分词器问题

我有一个我认为简单的 solr 练习,但我不确定该使用什么。 我有很多名字,例如乔·史密斯(Joe Smith)、杰克丹尼(Jack Daniels)和史蒂夫(Steve)。…

故事与诗 2024-12-04 23:53:37 0 0

如何在 solr 中的过滤器之间使用分词器?

我想使用一种模式,其中在一个过滤器之后调用空白标记生成器,然后应用所有其他过滤器: 2024-12-04 15:44:08 1 0

这个 Lucene TokenFilter 有什么问题吗?

免责声明:过去 41 小时中,我有 36 个小时都在编码。我头疼。我不明白为什么这个组合 TokenFilter 返回 2 个令牌,都是来自源流的第一个令牌。 publi…

你与清晨阳光 2024-12-04 00:02:28 0 0
更多

推荐作者

已经忘了多久

文章 0 评论 0

15867725375

文章 0 评论 0

LonelySnow

文章 0 评论 0

走过海棠暮

文章 0 评论 0

轻许诺言

文章 0 评论 0

信馬由缰

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文