如何限制磁盘空间中的磁盘空间？

Question

我使用8个配对端FASTQ文件，每个文件都有150 GB，需要通过带有空间按需子任务的管道来处理。我尝试了多个选项，但我仍在耗尽磁盘空间：

• 不再需要时使用临时删除输出文件，
• 使用了disk_mb资源来限制并行数量的并行作业。

我使用以下执行将我的磁盘空间使用限制为500GB，但显然不能保证，并且超过了500GB。如何将磁盘使用量限制为固定值以避免磁盘空间用完？

snakemake --resources disk_mb=500000 --use-conda --cores 16  -p

rule merge:
  input:
    fw="{sample}_1.fq.gz",
    rv="{sample}_2.fq.gz",
  output:
    temp("{sample}.assembled.fastq")
  resources:
    disk_mb=100000
  threads: 16
  shell:
    """
    merger-tool -f {input.fw} -r {input.rv} -o {output}
    """


rule filter:
  input:
    "{sample}.assembled.fastq"
  output:
    temp("{sample}.assembled.filtered.fastq")
  resources:
    disk_mb=100000
  shell:
    """
    filter-tool {input} {output}
    """


rule mapping:
  input:
    "{sample}.assembled.filtered.fastq"
  output:
    "{sample}_mapping_table.txt"
  resources:
    disk_mb=100000
  shell:
    """
    mapping-tool {input} {output}
    """

Answer 1

snakemake没有限制资源的功能，而只能以尊重资源约束的方式安排作业。

现在，snakemake使用Resources限制并发作业，而您的问题具有累积的方面。看看这个答案，解决此问题的一种方法是引入PRIFISTICY，所以下游任务的优先级最高。

在您的特定文件中，似乎将优先级添加到映射规则应该足够：

rule mapping:
    input:
        "{sample}.assembled.filtered.fastq"
    output:
        "{sample}_mapping_table.txt"
    resources:
        disk_mb=100_000
    priority: 100
    shell:
        """
        mapping-tool {input} {output}
        """

您可能还要谨慎启动规则（避免填写该规则带有合并的结果的磁盘空间。