solr DIH 中的增量导入问题

Question

当我运行 full_import 命令时，它工作正常。更新日期将写入 dataimport.properties 文件。当我运行 delta-import 时，它给出索引失败。回滚所有更改。dataimport.properties 文件已创建，并且在 solr/conf/ 位置具有 777 权限。

请帮我解决这个问题。

---

@mbonaci

data-config.xml 中的查询、deltaImportQuery 和 deltaQuery 如下

    <entity name="item" query="select group_title,description,DATE_FORMAT(created_date, '%Y-%m-%dT%H:%i:%sZ') as createdDate,group_status, 'GROUP' as itemtype,group_id as id from collaboration_groups where group_status=1" 
deltaImportQuery="select group_title,description,DATE_FORMAT(created_date, '%Y-%m-%dT%H:%i:%sZ') as createdDate,group_status,group_id as id,'GROUP' as itemtype  from collaboration_groups where group_status=1 and group_id=${dataimporter.delta.id} "  
deltaQuery="select group_id from collaboration_groups where group_status=1 and  updated_date &gt; '${dataimporter.last_index_time}'" deletedPkQuery="select group_id  from  collaboration_groups  where group_status = 0 and updated_date &gt; '${dataimporter.last_index_time}'">
            <field column="id"  name="id" />
            <field column="itemtype" name="itemtype" />
            <field column="group_title" name="fullName" />
            <field column="description" name="description"/>
            <field column="createdDate" name="createdDate"/>
</entity>

config.xml 中 dataImport 请求处理程序的配置参数如下

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">/var/solr/data-config.xml</str>
</lst>
</requestHandler>

Answer 1

我注意到，在您的 deltaImportQuery 中，您引用了 id（您的 deltaQuery 中不存在）而不是 group_id。在这一行中：

...and group_id=${dataimporter.delta.id}"

由于 deltaQuery 中的 PK 是 group_id，所以查询的那部分应该像这样：

...and group_id=${dataimporter.delta.group_id}"

我也遇到了同样的问题，因为我不明白 ${dataimporter.delta} 实际上代表deltaQuery。

Answer 2

您可以查看您的 dataConfig 文件并发布您的查询、deltaImportQuery 和 deltaQuery 吗？
dataConfig 直接位于 solrconfig.xml 中的 dataImport 请求处理程序标记内，或者位于单独的 xml 文件中。要找出哪个文件，请查看 dataImport 请求处理程序的配置参数，该参数应该类似于以下内容：

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">
        <str name="config">mssql-jdbc.xml</str>
    </lst>
</requestHandler>

包含 dataConfig 的文件位于与 solrconfig.xml (conf) 相同的目录中。