Snakemake：扩展错误定义输出文件夹

Question

我有一个基于

但是，在将代码应用于大量文件夹之前，我想看看是否可以更好地了解较早版本的代码中出了什么问题。

这是Snakemake代码：

import pandas as pd
import os

data = pd.read_csv("mapping_list.csv").set_index('Subfolder', drop=False)
SAMPLES = data["Subfolder"].tolist()
OUTPREFIXES = data["Output"].tolist()

def get_input_folder(wildcards):
    return data.loc[wildcards.sample]["Input"]

def get_output_folder(wildcards):
    return data.loc[wildcards.sample]["Output"]

rule all:
    input:
        expand(os.path.join("{outf}","{sample}"), zip, outf=OUTPREFIXES, sample=SAMPLES)

rule copy_folders:
    input:
        infolder = get_input_folder,
        outfolder = get_output_folder
    output:
        subfolder = directory(os.path.join("{outf}","{sample}"))
    resources:
        mem_mb=1000,
        cpus=1
    shell:
        "cp -R {input.infolder} {input.outfolder}"

我认为问题是{outf}和{sample}变量未正确定义。

例如，假设{outf}可以进一步分为 {outf-prefix} 和 {outf-subfolder} ，所以{off}是{outf-prefix}/{outf-subfolder}。

这是我看到的错误消息，与那些占位持有人而不是观察到的值：

Building DAG of jobs...
InputFunctionException in line 22 of /path/to/Snakefile:
KeyError: '{outf-SUBFOLDER}'
Wildcards:
outf={outf-PREFIX}
sample={outf-SUBFOLDER}

换句话说，{sample}的值未使用。 i AM假设问题与faste命令有关。

相反，{outf}和{sample}是由可以定义完整{outf}的组件定义的前缀} 和 {OUTF-SUBFOLDER} ）。因此，我认为如果Snakemake改为创建以下映射，我可以解决问题：

outf={outf}
sample={sample}

我还遇到了以下代码的类似问题：

import pandas as pd
import os

data = pd.read_csv("mapping_list.csv").set_index('FullOutSubfolder', drop=False)
FULLOUTS = data["FullOutSubfolder"].tolist()

def get_input_folder(wildcards):
    return data.loc[wildcards.sample]["Input"]

def get_output_folder(wildcards):
    return data.loc[wildcards.sample]["Output"]
    
rule all:
    input:
        expand("{sample}", sample=FULLOUTS)

rule copy_folders:
    input:
        infolder = get_input_folder,
        outfolder = get_output_folder
    output:
        subfolder = directory("{sample}")
    resources:
        mem_mb=1000,
        cpus=1
    shell:
        "cp -R {input.infolder} {input.outfolder}"

在这种情况下，输出文件夹路径被截断为通配符（丢失了与原始{示例} ），类似于上面的截断{outf}。

有人可以解释问题或提供任何建议吗？

非常感谢！

真诚的，

Charles

更新（7/7/2022） ：我相信存在一些混乱，所以我希望其他信息会有所帮助。

这是一个示例，其中有2行占位符信息的示例，类似于 mapping_list.csv 中看到的内容：

FPID,Input,Output,Subfolder,FullOutSubfolder
fp1,/path/to/InputFolderA/SampleA,/path/to/OutputPrefixA/OutputFolderA,SampleA,/path/to/OutputPrefixA/OutputFolderA/SampleA
fp2,/path/to/InputFolderB/SampleB,/path/to/OutputPrefixB/OutputFolderB,SampleB,/path/to/OutputPrefixB/OutputFolderB/SampleB

要使用该示例，没有变量称为 {utf-prefix} 和 {utf-subfolder} 。

相反，这些是第一行的预期值：

{outf} = /path/to/outputprefixa/outputprefixa/output futperfoldera

{示例} = samplea

，这些是Snakemake定义的值 错误 ：

{outf} = /path/to/outputprefixa

{sampe} = outputfoldera

因此，我的理解是{sample}的预期值未使用，并且两个变量都被定义为从{outf}将路径分开。

Answer 1

我仍然很好奇是什么原因引起了早期问题。

但是，如果其他人遇到同样的问题，那么我确实有解决方法。

详细信息在以下文章中：

snakemake：不匹配的可变野马的可变值。输出“规则

基本上，我添加了额外的shell脚本命令，然后将一个小文件直接复制到输出中。然后，我将小文件用作端点，而不是复制的输出目录。