处理配置选项中的环境变量

Question

我有一个带有如下配置选项的snakemake命令行：

snakemake --config \
    f1=$PWD/file1.txt \
    f2=$PWD/file2.txt \
    f3=/path/to/file3.txt \
    ...more key-value pairs \
    --directory /path/to/output/dir

file1.txt和file2.txt预计与snakefile，file3.txt位于同一目录中 在其他地方。我需要文件的路径是绝对路径，因此需要 $PWD 变量，以便 Snakemake 可以在移动到 /path/to/output/dir 后找到文件。

因为我开始有多个配置选项，所以我想将所有 --config 项移动到单独的 yaml 配置文件中。问题是：如何将变量 $PWD 传输到配置文件？

我可以在 yaml 文件中有一个虚拟字符串，指示该字符串将被 Snakefile 所在的目录替换（例如 f1:/file1.txt），但我觉得它是尴尬的。还有更好的想法吗？也许我应该重新考虑如何将文件 fileX.txt 传递给 Snakemake...

Answer 1

一种选择是使用外部模块 intake 来处理环境变量一体化。有一个类似的答案，但该问题的更具体示例如下。

一个 yaml 文件，它遵循 intake 所期望的语法，一个名为 sources 的字段，其中包含一个嵌套条目列表，这些条目至少指定一个（可能是本地）可以访问文件的 url：

# config.yml
sources:
  file1:
    args:
      url: "{{env(PWD)}}/file1.txt"
  file2:
    args:
      url: "{{env(PWD)}}/file2.txt"

在 Snakefile 内，相关代码为：

import intake
cat = intake.open_catalog('config.yml')
f1 = cat['file1'].urlpath
f2 = cat['file2'].urlpath

请注意，对于不太详细的 yaml 文件，intake< /code> 提供参数化语法，请参阅文档或此示例。

Answer 2

您可以使用 workflow.basedir 访问 Snakefile 所在的目录 - 您也许可以在配置文件中指定相对路径，然后在 Snakefile 中定义绝对路径，例如：

file1 = pathlib.Path(workflow.basedir) / config["f1"]
file2 = pathlib.Path(workflow.basedir) / config["f2"]