将 Solr 作为索引与 Oracle 作为存储数据库集成的最佳方式是什么？

Question

我有一个包含所有“数据”的 Oracle 数据库，以及一个对所有这些数据进行索引的 Solr 索引。理想情况下，我希望能够运行这样的查询：

select * from data_table where id in ([solr query results for 'search string']);

然而，一个关键问题出现了： Oracle 不允许“in”子句中的项目数组中包含超过 1000 个项目（大事，因为我找到的对象列表通常 > 1000，并且通常在 50-200k 项目左右）

我尝试过使用“split”函数解决此问题，该函数将采用一串逗号分隔值，并将它们分解为数组项，但随后我使用 SQL 达到了函数参数的 4000 个字符限制（PL/SQL 为 32k 字符） ，但在某些情况下对于 80,000 多个结果来说仍然太有限）

我还使用 WHERE IN (....) 遇到性能问题，我被告知这会导致查询非常慢，即使引用的字段是索引字段？

我尝试为 1000 项限制制作递归“OR”（又名： id in (1...1000 或 (id in (1001....2000) 或 id in (2001....3000) )) - 这可以工作，但是非常慢，

我想我应该将 Solr 客户端 JAR 加载到 Oracle 中，并用 Java 编写一个 Oracle 函数，该函数将调用 solr 并通过管道返回结果：一个列表，这样我就可以执行以下操作：

select * from data_table where id in (select * from table(runSolrQuery('my query text')));

事实证明这非常困难，我不确定这是否可能。

我不能做的事情：

• 将完整数据存储在 Solr 中（安全性 + 存储限制）
• 用户 Solr 作为 分页和排序控制器 （这就是为什么我从 DB）

因此我必须制定一种混合方法，让 Solr 真正充当 Oracle 的全文搜索提供程序。帮助！有人遇到过这个吗？

Answer 1

看看这个：
http://demo.scotas.com/search-sqlconsole.php

该产品似乎完全按照您的需要去做。

干杯

Answer 2

我不是 Solr 专家，但我假设您可以将 Solr 查询结果获取到 Java 集合中。一旦有了它，您应该能够通过 JDBC 使用该集合。这避免了 1000 个文字项的限制，因为您的 IN 列表将是查询的结果，而不是文字值列表。

Dominic Brooks 有一个通过 JDBC 使用对象集合的示例。您可以在 Java 中的 Oracle 中执行类似

创建几种类型的

CREATE TYPE data_table_id_typ AS OBJECT (
  id NUMBER
);

CREATE TYPE data_table_id_arr AS TABLE OF data_table_id_typ;

操作，然后您可以创建一个适当的 STRUCT 数组，从 Solr 填充该数组，然后将其绑定到 SQL 语句

SELECT *
  FROM data_table
 WHERE id IN (SELECT * FROM TABLE( CAST (? AS data_table_id_arr)))

Answer 3

您可以使用TermsFilter（与RangeFilter类似，但项目不必按顺序排列），而不是使用长BooleanQuery。

像这样（首先用术语填充您的TermsFilter）：

TermsFilter termsFilter = new TermsFilter();

        // Loop through terms and add them to filter
        Term term = new Term("<field-name>", "<query>");
        termsFilter.addTerm(term);

然后像这样搜索索引：

DocList parentsList = null;
parentsList = searcher.getDocList(new MatchAllDocsQuery(),  searcher.convertFilter(termsFilter), null, 0, 1000);

其中搜索器是SolrIndexSearcher（有关getDocList方法的更多信息，请参阅java文档）：
http://lucene.apache.org/solr/api /org/apache/solr/search/SolrIndexSearcher.html

Answer 4

我想到了两种解决方案。

首先，研究使用 Oracle 特定于 JDBC 的 Java 扩展。它们允许您传入实际的数组/列表作为参数。您可能需要创建一个存储过程（自从我不得不这样做以来已经有一段时间了），但如果这是一个重点用例，那么它不应该过于繁重。

其次，如果您仍然遇到 1000 个对象限制之类的边界，请考虑在查询 Solr 时使用“行”设置并利用其固有的分页功能。

我使用这种批量获取方法和存储过程来获取需要放入 Solr 的大量数据。让您的 DBA 参与进来。如果您有一个好的，并使用 Oracle 特定的扩展，我认为您应该获得非常合理的性能。