如何处理具有Spring Integration的大型ZIP文件的副本

Question

该主题类似于：从ftp 但是没有明确的答案，这里的情况并不完全相同。

我在一台服务器上有一个输入目录，该目录将从另一台远程服务器复制到zip文件中。基本上，文件是由外部文件同步工具复制的（在服务器a上的源dir到服务器b上的目的地DIR之间），但也可以通过SCP或FTP工具复制用于测试目的。

通过以这种方式处理ZIP文件，通过Spring Integration Zip模块处理：

@Bean
public IntegrationFlow zipFilePollingFlow(
        @Value("file:///${zip.inputDir}") File in,
        UnZipTransformer unzipTransformer,
        UnZipResultSplitter unZipResultSplitter,
        TransactionManager pseudoTransactionManager) {

    FileInboundChannelAdapterSpec inbound = Files.inboundAdapter(in).autoCreateDirectory(true);

    return IntegrationFlows.from(inbound, pm -> pm.poller(p -> p.fixedDelay(5000)
                .transactionSynchronizationFactory(zipIntegrationTxSynchronizationFactory())
                    .transactional(pseudoTransactionManager))) // Zip process is done transactionnaly
            .handle(fileCleanService) // Deletes files in another directory
            .transform(unzipTransformer)
            .split(unZipResultSplitter)
            .<File, Boolean>route( ... ) // the rest of the flow
            .get();
}

小ZIP文件一切都很好。但是，当复制/传输大文件（数百MB）时，我们陷入了此错误：

osintegration.handler.logginghandler：org.springframework.integration.trementer.trementer.messagetransformationException：无法转换消息；嵌套异常是org.springframework.messaging.messagehandlingexception：无法应用zip变换。嵌套例外是Java.lang.IlgalStateException：不是zip文件：/.../ temp/extract/zip/zip/full-extract-rev.zip

由：org.springframework.messaging.messagehandlingexception：无法应用zip变换。嵌套例外是Java.lang.illegalstateException：不是zip文件：....

我们如何使用Spring Integration正确处理和处理大型ZIP文件？ ZIP文件变压器是否有可能重试该过程，直到源zip文件的传输完成？

Answer 1

替代方法是配置fileInboundChannelAdaptersPec lastModifiedFilelistFilter：

 * The {@link FileListFilter} implementation to filter those files which
 * {@link File#lastModified()} is less than the {@link #age} in comparison
 * with the current time.

因此，它只能在足够旧时传递文件。

您还需要将此过滤器与acceptoncefilelistfilter组合到chainfilelistfilter中，以避免一次又一次地读取相同的文件。

不确定是否有选项在文件系统上配置目录以仅让对文件的独家访问（默认情况下它在Windows上）打开文件。如果我们失败了，我们不会在codefilelistfilter中向文件路径路径， /Docs/current/Referent/html/file.html#file-reading“ rel =” nofollow noreferrer“> https://docs.spring.io/spring.io/spring-integration/docs/docs/docs/current/current/current/referent/referent/reference/reference/html/file.htmll/文件阅读