在目录上迭代并仅提取文件名，而无需阅读有效载荷

Question

我正在使用前提上的Mule 4.4社区版。 多亏了帮助，我才能够阅读一个大文件而不消耗内存和处理它，这一切都很好（ tere ）。

现在进一步依据 - 我的用例是从目录中读取所有.CSV文件。 然后对它们进行一个一个一个：

\opt\out\
         students.csv
         teachers.csv
         collesges.csv
         ....

因此，我的计划是在目录中列出文件：

<sftp:list doc:name="List" config-ref="SFTP_Config" directoryPath="/opt/out">
    <non-repeatable-iterable />
    <sftp:matcher filenamePattern="#['*.csv' ]"
                  directories="EXCLUDE" symLinks="EXCLUDE" />
</sftp:list>

然后我想从目录中读取文件名 ，而 not> not 读取有效载荷。

按照此早期访问文章iToble /＆gt; < /code>。但是，在我尝试提取属性时按照文章的列表文件操作之后：

<set-payload doc:name="Set Payload"  value="#[output application/json --- payload map $.attributes]"/>

没有属性...（我的计划是提取文件名，然后为每个文件名的循环运行a 然后选择条件以确定文件名是否具有 student ，使用Student Transformer，如果老师使用教师变压器等）

但是，由于属性不可用，我是无法将文件名传递给 循环（尚未编写）。

因此，我从＆lt; non-repeatable-titerable /＆gt; < /code>转换为＆lt; lt; lt;

;

<sftp:list doc:name="List" config-ref="SFTP_Config" directoryPath="/opt/out">
    <repeatable-in-memory-iterable />
    <sftp:matcher filenamePattern="#['*.csv' ]"
                  directories="EXCLUDE" symLinks="EXCLUDE" />
</sftp:list>

lt 提取文件名的属性。

我对以下内容感到困惑：

1. 要在上述目录中处理的文件将很大（每个文件700 MB），因此，在使用使用可重复的内存迭代目录时，引起任何记忆问题？ （我做不是想要读取文件内容，只需在此阶段获取文件名），

这是到目前为止的完整有效负载（注意 - 它不包含任何 for loop to迭代文件，我将插入...）

<flow name="employee-process-flow">
    <http:listener doc:name="Listener"  config-ref="HTTP_Listener_config" path="/processFiles"/>
    <set-variable value='#[now() as String { format: "ddMMuu" }]' doc:name="Set todays date as ddmmyy" doc:id="c6a91a41-65b1-46df-a720-9c13fe360b6b" variableName="today"/>

    <sftp:list doc:name="List" config-ref="SFTP_Config" directoryPath="/opt/out">
    <repeatable-in-memory-iterable />
    <sftp:matcher filenamePattern="#['*.csv' ]"
        directories="EXCLUDE" symLinks="EXCLUDE" />
    </sftp:list>

    <set-payload doc:name="Set Payload" value="#[output application/json --- payload map $.attributes]"/>
    <foreach doc:name="For Each" >
        <logger level="INFO" doc:name="Logger"  message="we are here"/>
    </foreach>

</flow>

Answer 1

列表操作返回消息列表，每个列表都有有效负载和属性。文件的内容以懒惰的方式返回为有效载荷，这意味着仅当您尝试访问该元素的有效负载时，才能读取文件的内容。

有道理的是，如果您是不可纠正的术语，并且不访问＆lt; foreach＆gt;中每个项目的有效载荷，那么您就不应该有任何内存问题，因为内容没有阅读。

通过在内存中使用可重复的流，可以将整个有效载荷读取到内存中。尝试阅读一些大小千兆字节的文件，看看那里发生了什么。

我不确定属性问题是什么。它应该在任何流模式下工作。

请注意，如果您打算使用属性（而不是打印它们）进行操作，则应输出到application/java而不是JSON，以避免往返JSON的不需要的转换。例如，在您的流程中，输出用作＆lt; foreach＆gt;的输入，因此最好是Java。

例子：
输出应用程序/Java ---有效载荷地图$ .ATTRIBUTES