如何标记科学数据处理工具以确保可重复性

Question

我们开发了一种数据处理工具，可以从一组给定的原始数据中提取一些科学结果。在数据科学中，您可以重新获取结果并重复计算，从而生成结果集，这一点非常重要

由于该工具正在不断发展，我们需要一种方法来找出工具的哪个修订/构建生成了给定的结果设置以及如何找到构建该工具的相应源。

该工具是用 C++ 和 Python 编写的；使用 Boost::Python 将 C++ 部分粘合在一起。我们使用 CMake 作为为 Linux 生成 Make 文件的构建系统。目前该项目存储在 subversion 存储库中，但我们中的一些人已经使用 git resp。 hg，我们计划在不久的将来将整个项目迁移到其中之一。

在这样的场景中，获得源代码、二进制文件和结果集之间唯一映射的最佳实践是什么？

我们已经在讨论的想法：

• 以某种方式注入全局修订号
• 使用内部版本号生成器
• 将整个源代码存储在可执行文件本身中

Answer 1

这是我花了相当多时间来解决的一个问题。对于 @VonC 已经写的内容，让我补充一些想法。

我认为软件配置管理的主题很好理解，并且经常在商业环境中仔细实践。然而，这种通用方法在科学数据处理环境中往往缺乏，其中许多环境要么留在学术界，要么已经脱离学术界。然而，如果您处于这样的工作环境中，就有现成的信息和建议来源以及许多可以提供帮助的工具。我不会进一步扩展这一点。

我认为您将整个源代码包含在可执行文件中的建议即使可行，也没有必要。事实上，如果您正确地掌握了 SCM，那么您已经这样做并继续这样做的基本测试之一就是您根据需要重建“旧”可执行文件的能力。您还应该能够确定每个可执行文件和版本中使用了哪个源版本。这些应该使得在可执行文件中包含源代码变得不必要。

正如您所说，将结果集与计算联系起来的主题也是必不可少的。以下是我们正在构建的解决方案的一些组件：

我们正在从传统的非结构化文本文件（这是许多科学程序的输出特征）转向结构化文件，在我们的例子中，我们正在考虑 HDF5 和XML，其中存储感兴趣的数据和元数据。元数据包括用于生成结果的程序（和版本）的标识、输入数据集的标识、作业参数和一堆其他内容。

我们考虑使用 DBMS 来存储我们的结果；我们想走这条路，但今年我们没有资源这样做，明年也可能不会。但企业使用 DBMS 的原因有多种，其中一个原因是它们能够回滚、提供审计跟踪等。

我们还在仔细研究需要存储哪些结果集。一个好的方法是只存储从我们的现场传感器捕获的原始数据集。不幸的是，我们的一些计算需要花费 1000 个 CPU 小时才能完成，因此无法根据需要从头开始重现它们。然而，我们将来存储的中间数据集将比过去少得多。

我们还让用户直接编辑结果集变得更加困难（我认为这是不可能的，但我不确定我们是否已经做到了）。一旦有人这样做，世界上所有的出处信息都是错误且无用的。

最后，如果您想了解有关该主题的更多信息，请尝试在谷歌上搜索“科学工作流程”和“数据来源”类似主题。

编辑：从我上面写的内容中还不清楚，但是我们修改了我们的程序，以便它们包含自己的标识（我们使用 Subversion 的关键字功能以及我们自己的一个或两个扩展）并编写这将转化为他们产生的任何输出。

Answer 2

您需要考虑 git 子模块。 selenic.com/wiki/subrepos" rel="nofollow noreferrer">hg 子存储库。

这种情况下的最佳实践是拥有一个父存储库，它将引用：

• 工具的来源
• 从该工具生成的结果集
• 理想情况下 C++ 编译器（不会每天都进化）
• 理想情况下 python 发行版（不会每天进化 ）天）

其中每一个都是一个组件，即一个独立的存储库（Git 或 Mercurial）。
每个组件的一个精确修订将由父存储库引用。

所有流程代表基于组件的方法，并且是充分利用 SCM（此处为软件配置管理）是关键。