Sorl Spark:如何提高阅读数据速度?

发布于 2025-01-27 09:51:58 字数 401 浏览 2 评论 0原文

我正在使用 spark-solr 从Solrrr fuler fulerrrrr fulerrrrr 但是要获取数十万个文件,需要数十秒钟的时间。

我的Solr收藏量大约有10片,每个碎片都有4个复制品。我的收藏包含一百万个文件到数亿个文件。 关于Lucidworks Spark-Solr连接器,我将行设置为10000,并将其分为true。

是预期的行为吗? (我的意思是,索尔在本质上获取数据时是否慢?)或者您能帮助我了解如何配置Solr和该LucidWorks连接器以提高获取速度?我几乎没有在互联网上找到答案。

感谢您的帮助 :)

I am using spark-solr to fetch 2 or 3 attributes (id and date attributes) from solr but it takes tens of seconds to fetch hundred thousands documents.

My solr collections have around 10 shards, and each of them have 4 replicas. My collections contains from ten millions documents to hundred millions of documents.
Regarding the lucidworks spark-solr connector, I set rows to 10000 and splits to true.

Is it the expected behavior ? (I mean, is Solr slow when fetching data by essence ?) Or could you help me understand how to configure solr and this lucidworks connector to increase the fetch speed please ? I hardly found answers on the internet.

Thank you for your help :)

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文