倒排索引搜索中如何使用map-reduce?

发布于 2024-12-28 18:23:10 字数 65 浏览 7 评论 0原文

很容易理解如何使用map-reduce来收集文本并构建大型倒排索引。但是map-reduce如何用于倒排索引搜索呢?

It is easy to understand how map-reduce is used to collect text and build a large inverted index. But how can map-reduce be used in inverted index search?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

彼岸花似海 2025-01-04 18:23:10

构建一个大型倒排索引,对。但不适合搜索。 MapReduce 是批处理。

我非常确定您不想等到 MapReduce 作业在 2 mio 上运行。项目并对它们进行评分,之后另一个作业必须运行并对分数进行降序排序。

但这只是 Hadoop 的情况。也许如果您在 MongoDB 中使用 MapReduce,这可能是准确的。但开销还是很大。

build a large inverted index, right. But not for search. MapReduce is batch processing.

I'm pretty sure that you don't want to wait until a MapReduce job runs on 2 mio. items and score them, afterwards another Job has to run and sort the scores descending.

But that is only the case for Hadoop. Maybe if you use MapReduce inside of MongoDB, this might be accurate. But still a lot of overhead.

辞慾 2025-01-04 18:23:10

据我了解,MapReduce主要用于批处理,而不是搜索,这对响应时间要求较高。

As far as I know, MapReduce is mainly used for batch processing, but not search, which has a higher requirement on the response time.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文