当前位置：文江博客话题详情

页面文件使用

发布于 2024-08-06 22:24:42 字数 273 浏览 6 评论 0原文

我运行一个在文件系统上进行文本操作的脚本。

该脚本在文本文件（.h、.cpp）上运行。

当脚本运行时，我看到 PF 使用量不断增加，直到达到为页面文件分配的 VM 数量。

有没有办法在运行期间或之后刷新虚拟机？

我已经提出了另一个关于它的问题（认为这是不同的问题）：单个 sed 命令用于多个替换？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

删除会话 2024-08-13 22:24:42

分块或批处理您的操作，以便您可以更有效地使用内存，而不是仅仅将所有内容加载到内存中。如果您的文件都不是很大，请限制将文本从这些文件加载到内存中的线程数。如果使用大文件，请将它们分解，以便利用您拥有的内存更有效地处理它们。

回复收藏 0 原文

天暗了我发光 2024-08-13 22:24:42

不，但也许您可以更改脚本以消耗更少的内存。

更新。我尝试在Linux上重现该问题，对应于
其他问题中列出的脚本。在 Bash 中：

while read fileName; do

    echo
    echo -----------------------------------------------
    echo For file $fileName :

    while read matchItem; do
      echo  Searching for  $matchItem
      echo
      sed -i "s/$matchItem/XXXXXXXXX $matchItem XXXXXXXXXXXXXX/" $fileName
    done < allFilesWithH.txt

done < all.txt

我使用了蛋白质序列数据库的片段（大文本文件，FASTA 格式，最大 74 MB）和短肽序列进行测试（这样每个文件至少有 10 个替换）。
当它运行时，没有进程使用任何重要的内存（正如我所期望的）。 CPU负载
运行时约为 50%。因此我无法重现该问题。

No, but maybe you can change the script to consume less memory.

Update. I have tried to reproduce the problem on Linux, corresponding to
the script listed in the other question. In Bash:

while read fileName; do

    echo
    echo -----------------------------------------------
    echo For file $fileName :

    while read matchItem; do
      echo  Searching for  $matchItem
      echo
      sed -i "s/$matchItem/XXXXXXXXX $matchItem XXXXXXXXXXXXXX/" $fileName
    done < allFilesWithH.txt

done < all.txt

I have used fragments of a protein sequence database (large text file, FASTA format, up to 74 MB) and short peptide sequences for the test (such that there was at least 10 replaces per file).
While it is running no process is using any significant memory (as I would expect). CPU load
is on the order of 50% while it is running. Thus I can not reproduce the problem.

回复收藏 0 原文