Sorl Spark:如何提高阅读数据速度?
我正在使用 spark-solr 从Solrrr fuler fulerrrrr fulerrrrr 但是要获取数十万个文件,需要数十秒钟的时间。
我的Solr收藏量大约有10片,每个碎片都有4个复制品。我的收藏包含一百万个文件到数亿个文件。 关于Lucidworks Spark-Solr连接器,我将行设置为10000,并将其分为true。
是预期的行为吗? (我的意思是,索尔在本质上获取数据时是否慢?)或者您能帮助我了解如何配置Solr和该LucidWorks连接器以提高获取速度?我几乎没有在互联网上找到答案。
感谢您的帮助 :)
I am using spark-solr to fetch 2 or 3 attributes (id and date attributes) from solr but it takes tens of seconds to fetch hundred thousands documents.
My solr collections have around 10 shards, and each of them have 4 replicas. My collections contains from ten millions documents to hundred millions of documents.
Regarding the lucidworks spark-solr connector, I set rows to 10000 and splits to true.
Is it the expected behavior ? (I mean, is Solr slow when fetching data by essence ?) Or could you help me understand how to configure solr and this lucidworks connector to increase the fetch speed please ? I hardly found answers on the internet.
Thank you for your help :)
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论